Главная › База знаний › Темы

Запретить обучение, разрешить поиск

Большинство провайдеров разделяют обучающий краулер и поисковый. Так вы можете выйти из обучения моделей и всё же появляться как цитируемый источник.

Блокировать обучающих ботов

Disallow для: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), плюс токены Google-Extended и Applebot-Extended. Опционально Meta-ExternalAgent, если хотите выйти также из обучения Llama.

Разрешить поисковых ботов

Allow для: OAI-SearchBot и ChatGPT-User (поиск ChatGPT), Claude-SearchBot и Claude-User (Claude), PerplexityBot и Perplexity-User (Perplexity), Googlebot (поиск Google и ИИ-обзоры).

Серые зоны

Не каждый провайдер разделяет чисто: Common Crawl не знает поиска, Bytespider смешивает оба. И фрагмент текста может попасть в ИИ-обзор, даже если вы запретили обучение — это следует за индексацией поиска.

Проверка конфигурации

citeglass показывает по каждому боту отдельно действующее правило robots.txt и настоящий ответ сервера — так вы с одного взгляда видите, работает ли разделение «обучение выключено, поиск включён» на самом деле.

Проверьте свой сайт

citeglass примерно за 30 секунд показывает, где ваш сайт нечитаем для ИИ-систем — бесплатно и без входа.

Читать дальше

Общая информация, не юридическая консультация. GEO — молодая область, рекомендации могут меняться.