Разрешить или заблокировать GPTBot

GPTBot — это сканер, которым OpenAI собирает общедоступный контент для обучения будущих моделей.

За что отвечает GPTBot

GPTBot загружает страницы для обучающих данных — не для ответа на конкретный вопрос пользователя в ChatGPT. За живой поиск в ChatGPT отвечают OAI-SearchBot и ChatGPT-User. Кто блокирует GPTBot, но хочет оставаться видимым в ИИ-поиске, должен продолжать разрешать эти два.

Разрешить

Отдельный блок даёт GPTBot полный доступ: «User-agent: GPTBot», за которым «Allow: /». Важно: специфичный для бота блок для GPTBot полностью заменяет блок «User-agent: *» — повторите там необходимые правила Disallow.

Заблокировать

«User-agent: GPTBot», за которым «Disallow: /», держит GPTBot вдали от всего домена. OpenAI как правило соблюдает robots.txt в течение 24 часов. Контент, который уже попал в обучение, это не возвращает.

Проверить, действует ли

GPTBot соблюдает robots.txt — но всё равно не проходит, если WAF или защита от ботов заранее отклоняет user-agent с 403. citeglass получает вашу страницу с настоящим user-agent GPTBot и показывает, совпадают ли правило robots.txt и фактический ответ сервера.

Проверьте свой сайт

citeglass примерно за 30 секунд показывает, где ваш сайт нечитаем для ИИ-систем — бесплатно и без входа.

Читать дальше

Общая информация, не юридическая консультация. GEO — молодая область, рекомендации могут меняться.