Início › Recursos › Fundamentos

Controlar os rastreadores de IA no robots.txt

Cada grande fornecedor de IA opera os seus próprios rastreadores com nomes de agente de utilizador próprios. Através do robots.txt decide, bot a bot, se pode carregar o seu conteúdo.

Os principais rastreadores de IA

OpenAI: GPTBot (treino), OAI-SearchBot (pesquisa do ChatGPT), ChatGPT-User (obtenção a pedido do utilizador). Anthropic: ClaudeBot, Claude-SearchBot, Claude-User. Perplexity: PerplexityBot, Perplexity-User. Google: Google-Extended (treino do Gemini) — a obtenção real para as visões gerais de IA passa pelo Googlebot normal. Além disso Common Crawl (CCBot), Amazonbot, Bytespider, Applebot-Extended e Meta-ExternalAgent.

Permitir de forma específica

Para a máxima visibilidade em IA, dê aos bots relevantes um bloco próprio com «Allow: /». Importante: um bloco específico de um bot substitui completamente o bloco «User-agent: *» para esse bot — repita aí as regras disallow necessárias.

Excluir de forma específica

Se recusa o treino mas quer continuar visível na pesquisa de IA, pode bloquear o GPTBot e o Google-Extended e permitir o OAI-SearchBot e o Googlebot. É uma decisão de conteúdo, não puramente técnica.

Porque é que o robots.txt muitas vezes não basta

Muitos sites permitem os bots no robots.txt mas bloqueiam-nos ao nível do servidor: uma regra de WAF, um «Bot Fight Mode» da Cloudflare ou uma firewall recusa o rastreador com um 403. O bot respeita o robots.txt e mesmo assim não entra. O citeglass torna esta divergência visível.

Verificar

As listas de permitidos devem conter bots verificados. A OpenAI, a Anthropic, a Perplexity e a Google publicam os intervalos de IP dos seus rastreadores; verifique adicionalmente por DNS inverso em vez de confiar apenas na cadeia de agente de utilizador.

Verifique o seu próprio site

O citeglass mostra em cerca de 30 segundos onde o seu site é ilegível para os sistemas de IA — gratuito e sem registo.

Continuar a ler

Informação geral, não aconselhamento jurídico. O GEO é um campo jovem — as recomendações podem mudar.