OAI-SearchBot і ChatGPT-User

Коли ChatGPT шукає в мережі, OAI-SearchBot і ChatGPT-User отримують сторінки — окремо від навчального сканера GPTBot.

Два боти, два завдання

OAI-SearchBot будує пошуковий індекс для пошуку ChatGPT. ChatGPT-User відкриває сторінку, коли користувач прямо просить про це у своєму запитанні або ділиться посиланням. Обидва створюють основу для цитованих відповідей із посиланням на джерело.

Чому їх слід дозволити

Хто хоче з'явитися як джерело в ChatGPT, має надати цим двом ботам доступ. Блокування лише для GPTBot залишає пошук незмінним; блокування для «User-agent: *» зачіпає і OAI-SearchBot.

Правило robots.txt

Для максимальної видимості: по одному блоку для «User-agent: OAI-SearchBot» і «User-agent: ChatGPT-User», обидва з «Allow: /». Чутливі області (вхід, кошик, внутрішній пошук) цілеспрямовано виключіть через Disallow.

Тест отримуваності

citeglass для OAI-SearchBot і ChatGPT-User окремо перевіряє, чи дозволяє їх robots.txt і чи справді ваш сервер доставляє їм вміст — включно з випадками, коли захист від ботів блокує їх попри дозволений robots.txt.

Перевірте власний сайт

citeglass приблизно за 30 секунд показує, де ваш сайт нечитабельний для ШІ-систем — безкоштовно й без входу.

Читати далі

Загальна інформація, не юридична консультація. GEO — молода галузь, рекомендації можуть змінюватися.