OAI-SearchBot и ChatGPT-User

Когда ChatGPT ищет в сети, OAI-SearchBot и ChatGPT-User получают страницы — отдельно от обучающего сканера GPTBot.

Два бота, две задачи

OAI-SearchBot строит поисковый индекс для поиска ChatGPT. ChatGPT-User открывает страницу, когда пользователь прямо просит об этом в своём вопросе или делится ссылкой. Оба создают основу для цитируемых ответов со ссылкой на источник.

Почему их следует разрешить

Кто хочет появиться как источник в ChatGPT, должен предоставить этим двум ботам доступ. Блокировка только для GPTBot оставляет поиск нетронутым; блокировка для «User-agent: *» затрагивает и OAI-SearchBot.

Правило robots.txt

Для максимальной видимости: по одному блоку для «User-agent: OAI-SearchBot» и «User-agent: ChatGPT-User», оба с «Allow: /». Чувствительные области (вход, корзина, внутренний поиск) целенаправленно исключите через Disallow.

Тест доступности

citeglass для OAI-SearchBot и ChatGPT-User отдельно проверяет, разрешает ли их robots.txt и действительно ли ваш сервер доставляет им контент — включая случаи, когда защита от ботов блокирует их несмотря на разрешённый robots.txt.

Проверьте свой сайт

citeglass примерно за 30 секунд показывает, где ваш сайт нечитаем для ИИ-систем — бесплатно и без входа.

Читать дальше

Общая информация, не юридическая консультация. GEO — молодая область, рекомендации могут меняться.