Головна › База знань › Теми

Заборонити навчання, дозволити пошук

Більшість постачальників розділяють навчальний краулер і пошуковий. Так ти можеш вийти з навчання моделей і все ж з'являтися як цитоване джерело.

Блокувати навчальні боти

Disallow для: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), плюс токени Google-Extended і Applebot-Extended. Опційно Meta-ExternalAgent, якщо хочеш вийти також із навчання Llama.

Дозволити пошукові боти

Allow для: OAI-SearchBot і ChatGPT-User (пошук ChatGPT), Claude-SearchBot і Claude-User (Claude), PerplexityBot і Perplexity-User (Perplexity), Googlebot (пошук Google та ШІ-огляди).

Сірі зони

Не кожен постачальник розділяє чисто: Common Crawl не знає пошуку, Bytespider змішує обидва. І фрагмент тексту може потрапити в ШІ-огляд, навіть якщо ти заборонив навчання — це слідує за індексацією пошуку.

Перевірка конфігурації

citeglass показує для кожного бота окремо чинне правило robots.txt і справжню відповідь сервера — так ти з одного погляду бачиш, чи справді працює розділення «навчання вимкнено, пошук увімкнено».

Перевірте власний сайт

citeglass приблизно за 30 секунд показує, де ваш сайт нечитабельний для ШІ-систем — безкоштовно й без входу.

Читати далі

Загальна інформація, не юридична консультація. GEO — молода галузь, рекомендації можуть змінюватися.