Начало › База знания › Основи

Управление на ИИ роботи в robots.txt

Всеки голям ИИ доставчик управлява собствени роботи със собствени имена на потребителски агенти. Чрез robots.txt решавате за всеки робот дали може да зареди съдържанието ви.

Най-важните ИИ роботи

OpenAI: GPTBot (обучение), OAI-SearchBot (търсене в ChatGPT), ChatGPT-User (изтегляне по заявка на потребителя). Anthropic: ClaudeBot, Claude-SearchBot, Claude-User. Perplexity: PerplexityBot, Perplexity-User. Google: Google-Extended (обучение на Gemini) — самото изтегляне за ИИ прегледите минава през обичайния Googlebot. Освен това Common Crawl (CCBot), Amazonbot, Bytespider, Applebot-Extended и Meta-ExternalAgent.

Целенасочено разрешаване

За максимална видимост чрез ИИ давате на релевантните роботи собствен блок с „Allow: /“. Важно: блок, специфичен за робот, напълно замества блока „User-agent: *“ за този робот — повторете там нужните правила disallow.

Целенасочено изключване

Ако отказвате обучение, но искате да останете видими в ИИ търсенето, можете да блокирате GPTBot и Google-Extended и да разрешите OAI-SearchBot и Googlebot. Това е съдържателно решение, не чисто техническо.

Защо robots.txt често не е достатъчен

Много сайтове разрешават роботите в robots.txt, но ги блокират на ниво сървър: правило на WAF, „Bot Fight Mode“ на Cloudflare или защитна стена отхвърля робота с 403. Роботът спазва robots.txt и все пак не влиза. citeglass прави това разминаване видимо.

Проверка

Списъците с разрешени трябва да съдържат проверени роботи. OpenAI, Anthropic, Perplexity и Google публикуват IP диапазоните на роботите си; проверявайте допълнително чрез обратен DNS, вместо да разчитате само на низа на потребителския агент.

Проверете собствения си сайт

citeglass показва за около 30 секунди къде сайтът ви е нечетим за ИИ системите — безплатно и без вход.

Продължете четенето

Обща информация, не правен съвет. GEO е млада област — препоръките може да се променят.