Acasă › Bază de cunoștințe › Baze

Controlul roboților AI în robots.txt

Fiecare mare furnizor AI operează roboți proprii cu nume proprii de agent de utilizator. Prin robots.txt decizi pentru fiecare robot dacă poate încărca conținutul tău.

Cei mai importanți roboți AI

OpenAI: GPTBot (antrenare), OAI-SearchBot (căutare ChatGPT), ChatGPT-User (preluare la cererea utilizatorului). Anthropic: ClaudeBot, Claude-SearchBot, Claude-User. Perplexity: PerplexityBot, Perplexity-User. Google: Google-Extended (antrenare Gemini) — preluarea propriu-zisă pentru prezentările AI trece prin Googlebot-ul normal. În plus Common Crawl (CCBot), Amazonbot, Bytespider, Applebot-Extended și Meta-ExternalAgent.

Permitere țintită

Pentru vizibilitate AI maximă dai roboților relevanți un bloc propriu cu „Allow: /”. Important: un bloc specific unui robot înlocuiește complet blocul „User-agent: *” pentru acel robot — repetă acolo regulile disallow necesare.

Excludere țintită

Dacă refuzi antrenarea, dar vrei să rămâi vizibil în căutarea AI, poți bloca GPTBot și Google-Extended și permite OAI-SearchBot și Googlebot. Este o decizie de conținut, nu pur tehnică.

De ce robots.txt adesea nu este suficient

Multe site-uri permit roboții în robots.txt, dar îi blochează la nivel de server: o regulă WAF, un „Bot Fight Mode” Cloudflare sau un firewall respinge robotul cu un 403. Robotul respectă robots.txt și tot nu intră. citeglass face vizibilă această discrepanță.

Verificare

Listele de permise ar trebui să conțină roboți verificați. OpenAI, Anthropic, Perplexity și Google publică intervalele IP ale roboților lor; verifică suplimentar prin DNS invers în loc să te bazezi doar pe șirul agentului de utilizator.

Verifică-ți propriul site

citeglass arată în circa 30 de secunde unde site-ul tău este ilizibil pentru sistemele AI — gratuit și fără cont.

Citește mai departe

Informație generală, nu consultanță juridică. GEO este un domeniu tânăr — recomandările se pot schimba.