Úvod › Znalostní báze › Témata

Vyloučit všechny AI crawlery

Kdo chce zásadně držet obsah mimo AI systémy, potřebuje pravidla pro každého pojmenovaného bota — zástupný znak nestačí, protože mnoho botů ho ignoruje nebo očekává vlastní bloky.

Seznam botů

Zohlednit je třeba nejméně: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. Pro každého bota vlastní blok s „Disallow: /“.

Co robots.txt neumí

robots.txt je prosba, ne donucení. Boti jako Bytespider nebo Perplexity čelili kritice za jeho obcházení. Pro tvrdé blokace navíc pravidla WAF nebo firewallu na user-agenty a, kde je to možné, na ověřené rozsahy IP.

Cena

Kompletní blokace tě vyjme z AI odpovědí s odkazem na zdroj — tedy z rostoucí části vyhledávání informací. Pro mnoho stránek dává smysl cílenější varianta: zakázat trénování, povolit vyhledávání.

Kontrola účinku

citeglass načte tvou stránku s každým z těchto user-agentů a ukáže v matici, který bot je podle robots.txt blokovaný a zda tvůj server blokaci skutečně vynucuje.

Zkontrolujte vlastní web

citeglass ukáže během asi 30 sekund, kde je váš web pro AI systémy nečitelný — zdarma a bez přihlášení.

Číst dál

• Zakázat trénování, povolit vyhledávání
• Řízení AI robotů v robots.txt
• CCBot a Common Crawl

Obecná informace, nikoli právní poradenství. GEO je mladý obor — doporučení se mohou měnit.