Úvod › Znalostná báza › Základy

Riadenie AI robotov v robots.txt

Každý veľký poskytovateľ AI prevádzkuje vlastné roboty s vlastnými názvami user agentov. Cez robots.txt rozhodujete pri každom robotovi, či smie načítať váš obsah.

Najdôležitejšie AI roboty

OpenAI: GPTBot (tréning), OAI-SearchBot (vyhľadávanie ChatGPT), ChatGPT-User (načítanie na žiadosť používateľa). Anthropic: ClaudeBot, Claude-SearchBot, Claude-User. Perplexity: PerplexityBot, Perplexity-User. Google: Google-Extended (tréning Gemini) — vlastné načítanie pre AI prehľady prebieha cez bežný Googlebot. Ďalej Common Crawl (CCBot), Amazonbot, Bytespider, Applebot-Extended a Meta-ExternalAgent.

Cielené povolenie

Pre maximálnu viditeľnosť pre AI dáte relevantným robotom vlastný blok s „Allow: /“. Dôležité: blok špecifický pre robota pre daného robota úplne nahradí blok „User-agent: *“ — zopakujte tam potrebné pravidlá disallow.

Cielené vylúčenie

Ak odmietate tréning, ale chcete zostať viditeľní vo vyhľadávaní AI, môžete zablokovať GPTBot a Google-Extended a povoliť OAI-SearchBot a Googlebot. Je to obsahové rozhodnutie, nie čisto technické.

Prečo robots.txt často nestačí

Mnoho webov povoľuje roboty v robots.txt, ale blokuje ich na úrovni servera: pravidlo WAF, „Bot Fight Mode“ Cloudflare alebo firewall robota odmietne kódom 403. Robot sa riadi robots.txt a napriek tomu sa nedostane dnu. citeglass tento rozpor zviditeľňuje.

Overenie

Zoznamy povolených by mali obsahovať overené roboty. OpenAI, Anthropic, Perplexity a Google zverejňujú rozsahy IP svojich robotov; overujte navyše cez spätný DNS, namiesto toho, aby ste sa spoliehali len na reťazec user agenta.

Skontrolujte vlastný web

citeglass ukáže za asi 30 sekúnd, kde je váš web pre AI systémy nečitateľný — zdarma a bez prihlásenia.

Čítať ďalej

Všeobecná informácia, nie právne poradenstvo. GEO je mladý odbor — odporúčania sa môžu meniť.