Úvod › Znalostná báza › Témy

Vylúčiť všetky AI crawlery

Kto chce zásadne držať obsah mimo AI systémov, potrebuje pravidlá pre každého pomenovaného bota — zástupný znak nestačí, lebo mnohé boty ho ignorujú alebo očakávajú vlastné bloky.

Zoznam botov

Zohľadniť treba minimálne: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. Pre každého bota vlastný blok s „Disallow: /“.

Čo robots.txt nedokáže

robots.txt je prosba, nie donútenie. Boty ako Bytespider alebo Perplexity čelili kritike za jeho obchádzanie. Pre tvrdé blokovania navyše pravidlá WAF alebo firewallu na user-agentov a, kde je to možné, na overené rozsahy IP.

Cena

Kompletné blokovanie ťa vyjme z AI odpovedí s odkazom na zdroj — teda z rastúcej časti vyhľadávania informácií. Pre mnohé stránky dáva zmysel cielenejšia varianta: zakázať trénovanie, povoliť vyhľadávanie.

Kontrola účinku

citeglass načíta tvoju stránku s každým z týchto user-agentov a ukáže v matici, ktorý bot je podľa robots.txt blokovaný a či tvoj server blokovanie skutočne vynucuje.

Skontrolujte vlastný web

citeglass ukáže za asi 30 sekúnd, kde je váš web pre AI systémy nečitateľný — zdarma a bez prihlásenia.

Čítať ďalej

• Zakázať trénovanie, povoliť vyhľadávanie
• Riadenie AI robotov v robots.txt
• CCBot a Common Crawl

Všeobecná informácia, nie právne poradenstvo. GEO je mladý odbor — odporúčania sa môžu meniť.