Accueil › Ressources › Bases

Piloter les robots IA dans robots.txt

Chaque grand fournisseur d'IA exploite ses propres robots avec leurs propres noms d'agent utilisateur. Via robots.txt, vous décidez, robot par robot, s'il peut charger votre contenu.

Les principaux robots IA

OpenAI : GPTBot (entraînement), OAI-SearchBot (recherche ChatGPT), ChatGPT-User (récupération à la demande de l'utilisateur). Anthropic : ClaudeBot, Claude-SearchBot, Claude-User. Perplexity : PerplexityBot, Perplexity-User. Google : Google-Extended (entraînement Gemini) — la récupération réelle pour les aperçus IA passe par le Googlebot normal. Plus Common Crawl (CCBot), Amazonbot, Bytespider, Applebot-Extended et Meta-ExternalAgent.

Autoriser précisément

Pour une visibilité IA maximale, donnez aux robots concernés leur propre bloc avec « Allow: / ». Important : un bloc spécifique à un robot remplace entièrement le bloc « User-agent: * » pour ce robot — répétez-y les règles disallow nécessaires.

Exclure précisément

Si vous refusez l'entraînement mais voulez rester visible dans la recherche IA, vous pouvez bloquer GPTBot et Google-Extended tout en autorisant OAI-SearchBot et Googlebot. C'est une décision de contenu, pas purement technique.

Pourquoi robots.txt ne suffit souvent pas

De nombreux sites autorisent les robots dans robots.txt mais les bloquent au niveau du serveur : une règle de WAF, un « Bot Fight Mode » de Cloudflare ou un pare-feu refuse le robot par un 403. Le robot respecte robots.txt et n'entre quand même pas. citeglass rend cette divergence visible.

Vérifier

Les listes d'autorisation devraient contenir des robots vérifiés. OpenAI, Anthropic, Perplexity et Google publient les plages IP de leurs robots ; vérifiez en plus par DNS inverse au lieu de vous fier uniquement à la chaîne d'agent utilisateur.

Vérifiez votre propre site

citeglass montre en 30 secondes environ où votre site est illisible pour les systèmes IA — gratuit et sans compte.