Начало › База знания › Теми

Забрана на обучението, разрешаване на търсенето

Повечето доставчици разделят обучаващия робот от търсещия. Така можеш да излезеш от обучението на моделите и все пак да се появяваш като цитиран източник.

Блокиране на обучаващите ботове

Disallow за: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), плюс токените Google-Extended и Applebot-Extended. По избор Meta-ExternalAgent, ако искаш и извън обучението на Llama.

Разрешаване на търсещите ботове

Allow за: OAI-SearchBot и ChatGPT-User (търсене в ChatGPT), Claude-SearchBot и Claude-User (Claude), PerplexityBot и Perplexity-User (Perplexity), Googlebot (търсене в Google и ИИ прегледи).

Сиви зони

Не всеки доставчик разделя чисто: Common Crawl не познава търсене, Bytespider смесва двете. И текстов откъс може да попадне в ИИ преглед, дори ако си забранил обучението — това следва индексирането за търсене.

Проверка на конфигурацията

citeglass показва за всеки бот поотделно действащото правило в robots.txt и истинския отговор на сървъра — така виждаш с един поглед дали разделянето „обучение изкл., търсене вкл.“ действително работи.

Проверете собствения си сайт

citeglass показва за около 30 секунди къде сайтът ви е нечетим за ИИ системите — безплатно и без вход.

Продължете четенето

• Изключване на всички ИИ обхождащи роботи
• Разрешаване или блокиране на GPTBot
• Google-Extended и Googlebot

Обща информация, не правен съвет. GEO е млада област — препоръките може да се променят.