Inicio › Recursos › Rastreadores de IA en detalle

ClaudeBot y los rastreadores de Anthropic

Anthropic opera tres rastreadores para Claude: uno para entrenamiento, uno para búsqueda y uno para la descarga a petición del usuario.

Los tres bots

ClaudeBot recopila datos de entrenamiento. Claude-SearchBot construye el índice para la búsqueda web en Claude. Claude-User solicita una página cuando el usuario lo pide en una conversación. Solo ClaudeBot afecta al entrenamiento del modelo.

Gestionar el acceso

Un bloque de robots.txt por bot. Si rechazas el entrenamiento pero quieres que te citen en las respuestas de Claude, bloquea ClaudeBot con «Disallow: /» y sigue permitiendo Claude-SearchBot y Claude-User.

Un error frecuente

Un único bloque «User-agent: Claude*» no funciona: robots.txt no admite comodines en el nombre del agente de usuario, salvo el «*» aislado. Nombra cada bot por separado.

Comprobar la respuesta del servidor

citeglass solicita tu página con los agentes de usuario reales de ClaudeBot, Claude-SearchBot y Claude-User y señala los casos en que robots.txt permite un bot pero el servidor lo rechaza.

Comprueba tu propio sitio

citeglass muestra en unos 30 segundos dónde tu web es ilegible para los sistemas de IA — gratis y sin registro.

Seguir leyendo

• Permitir o bloquear GPTBot
• PerplexityBot y Perplexity-User
• Controlar los rastreadores de IA en robots.txt

Información general, no asesoramiento jurídico. El GEO es un campo joven — las recomendaciones pueden cambiar.