Acasă › Bază de cunoștințe › Teme

Blocarea tuturor crawlerelor AI

Cine vrea în principiu să țină conținutul departe de sistemele AI are nevoie de reguli pentru fiecare bot numit — un wildcard nu ajunge, deoarece mulți boți îl ignoră sau așteaptă blocuri proprii.

Lista boților

Trebuie luați în calcul cel puțin: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. Pentru fiecare bot un bloc propriu cu „Disallow: /”.

Ce nu poate robots.txt

robots.txt este o rugăminte, nu o constrângere. Boți precum Bytespider sau Perplexity au fost criticați că îl ocolesc. Pentru blocări dure, suplimentar reguli WAF sau de firewall pe user-agenți și, unde este posibil, pe intervale IP verificate.

Prețul

O blocare completă te scoate din răspunsurile AI cu link către sursă — deci dintr-o parte în creștere a căutării de informații. Pentru multe site-uri varianta mai țintită are mai mult sens: interzice antrenamentul, permite căutarea.

Verificarea efectului

citeglass îți accesează pagina cu fiecare dintre acești user-agenți și arată într-o matrice ce bot este blocat conform robots.txt și dacă serverul tău aplică efectiv blocarea.

Verifică-ți propriul site

citeglass arată în circa 30 de secunde unde site-ul tău este ilizibil pentru sistemele AI — gratuit și fără cont.

Citește mai departe

• Interzice antrenarea, permite căutarea
• Controlul roboților AI în robots.txt
• CCBot și Common Crawl

Informație generală, nu consultanță juridică. GEO este un domeniu tânăr — recomandările se pot schimba.