Accueil › Ressources › Les robots d'IA en détail

ClaudeBot et les robots d'Anthropic

Anthropic exploite trois robots pour Claude : un pour l'entraînement, un pour la recherche et un pour la récupération à la demande de l'utilisateur.

Les trois robots

ClaudeBot collecte des données d'entraînement. Claude-SearchBot construit l'index de la recherche web dans Claude. Claude-User récupère une page quand un utilisateur le demande dans une conversation. Seul ClaudeBot concerne l'entraînement du modèle.

Gérer l'accès

Un bloc robots.txt par robot. Si vous refusez l'entraînement mais voulez être cité dans les réponses de Claude, bloquez ClaudeBot avec « Disallow: / » et continuez d'autoriser Claude-SearchBot et Claude-User.

Une erreur fréquente

Un seul bloc « User-agent: Claude* » ne fonctionne pas — robots.txt ne connaît pas de caractère générique dans le nom de l'agent utilisateur, hormis le « * » isolé. Nommez chaque robot individuellement.

Vérifier la réponse du serveur

citeglass appelle votre page avec les vrais agents utilisateurs de ClaudeBot, Claude-SearchBot et Claude-User et signale les cas où robots.txt autorise un robot mais où le serveur le rejette.

Vérifiez votre propre site