Accueil › Ressources › Thèmes

Bloquer tous les robots d'IA

Qui veut tenir ses contenus hors des systèmes d'IA par principe a besoin de règles pour chaque robot nommé — un caractère générique ne suffit pas, car beaucoup de robots l'ignorent ou attendent leurs propres blocs.

La liste des robots

Il faut au minimum tenir compte de : GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. Un bloc dédié par robot avec « Disallow: / ».

Ce que robots.txt ne peut pas faire

robots.txt est une demande, pas une contrainte. Des robots comme Bytespider ou Perplexity ont été critiqués pour l'avoir contournée. Pour des blocages fermes, ajoutez des règles WAF ou pare-feu sur les agents utilisateurs et, si possible, sur des plages d'IP vérifiées.

Le prix

Un blocage complet vous retire des réponses d'IA avec lien source — donc d'une part croissante de la recherche d'information. Pour beaucoup de sites, la variante plus ciblée est plus pertinente : bloquer l'entraînement, autoriser la recherche.

Vérifier l'effet

citeglass appelle votre page avec chacun de ces agents utilisateurs et indique dans une matrice quel robot est bloqué selon robots.txt et si votre serveur applique réellement le blocage.

Vérifiez votre propre site