Дозволити або заблокувати GPTBot

GPTBot — це сканер, яким OpenAI збирає публічно доступний вміст для навчання майбутніх моделей.

За що відповідає GPTBot

GPTBot завантажує сторінки для навчальних даних — не для відповіді на конкретне запитання користувача в ChatGPT. За живий пошук у ChatGPT відповідають OAI-SearchBot і ChatGPT-User. Хто блокує GPTBot, але хоче залишатися видимим в AI-пошуку, має й далі дозволяти ці два.

Дозволити

Окремий блок дає GPTBot повний доступ: «User-agent: GPTBot», за яким «Allow: /». Важливо: специфічний для бота блок для GPTBot повністю замінює блок «User-agent: *» — повторіть там потрібні правила Disallow.

Заблокувати

«User-agent: GPTBot», за яким «Disallow: /», тримає GPTBot подалі від усього домену. OpenAI зазвичай дотримується robots.txt протягом 24 годин. Вміст, який уже потрапив у навчання, це не повертає.

Перевірити, чи діє

GPTBot дотримується robots.txt — але все одно не проходить, якщо WAF або захист від ботів заздалегідь відхиляє user-agent з 403. citeglass отримує вашу сторінку зі справжнім user-agent GPTBot і показує, чи збігаються правило robots.txt і фактична відповідь сервера.

Перевірте власний сайт

citeglass приблизно за 30 секунд показує, де ваш сайт нечитабельний для ШІ-систем — безкоштовно й без входу.

Читати далі

Загальна інформація, не юридична консультація. GEO — молода галузь, рекомендації можуть змінюватися.