Inicio › Recursos › Fundamentos
Controlar los rastreadores de IA en robots.txt
Cada gran proveedor de IA opera sus propios rastreadores con sus propios nombres de agente de usuario. Mediante robots.txt decides, bot por bot, si puede cargar tu contenido.
Los principales rastreadores de IA
OpenAI: GPTBot (entrenamiento), OAI-SearchBot (búsqueda de ChatGPT), ChatGPT-User (obtención a petición del usuario). Anthropic: ClaudeBot, Claude-SearchBot, Claude-User. Perplexity: PerplexityBot, Perplexity-User. Google: Google-Extended (entrenamiento de Gemini) — la obtención real para las vistas generales de IA va por el Googlebot normal. Además Common Crawl (CCBot), Amazonbot, Bytespider, Applebot-Extended y Meta-ExternalAgent.
Permitir de forma específica
Para la máxima visibilidad en IA, da a los bots relevantes su propio bloque con «Allow: /». Importante: un bloque específico de un bot sustituye por completo el bloque «User-agent: *» para ese bot — repite ahí las reglas disallow necesarias.
Excluir de forma específica
Si rechazas el entrenamiento pero quieres seguir visible en la búsqueda de IA, puedes bloquear GPTBot y Google-Extended y permitir OAI-SearchBot y Googlebot. Es una decisión de contenido, no puramente técnica.
Por qué robots.txt a menudo no basta
Muchos sitios permiten los bots en robots.txt pero los bloquean a nivel de servidor: una regla de WAF, un «Bot Fight Mode» de Cloudflare o un cortafuegos rechaza al rastreador con un 403. El bot respeta robots.txt y aun así no entra. citeglass hace visible esta discrepancia.
Verificar
Las listas de permitidos deberían contener bots verificados. OpenAI, Anthropic, Perplexity y Google publican los rangos de IP de sus rastreadores; comprueba además por DNS inverso en lugar de fiarte solo de la cadena de agente de usuario.
Comprueba tu propio sitio
citeglass muestra en unos 30 segundos dónde tu web es ilegible para los sistemas de IA — gratis y sin registro.
Seguir leyendo
Información general, no asesoramiento jurídico. El GEO es un campo joven — las recomendaciones pueden cambiar.