Accueil › Ressources › Les robots d'IA en détail

Autoriser ou bloquer GPTBot

GPTBot est le robot avec lequel OpenAI collecte des contenus accessibles publiquement pour entraîner ses futurs modèles.

À quoi sert GPTBot

GPTBot récupère des pages pour des données d'entraînement — pas pour répondre à une question précise dans ChatGPT. La recherche en direct dans ChatGPT est assurée par OAI-SearchBot et ChatGPT-User. Qui bloque GPTBot mais veut rester visible dans la recherche IA doit continuer à autoriser ces deux-là.

L'autoriser

Un bloc dédié donne à GPTBot un accès complet : « User-agent: GPTBot » suivi de « Allow: / ». Important : un bloc spécifique à un robot remplace entièrement le bloc « User-agent: * » pour GPTBot — répétez-y les règles Disallow nécessaires.

Le bloquer

« User-agent: GPTBot » suivi de « Disallow: / » tient GPTBot à l'écart de tout le domaine. OpenAI respecte en général robots.txt sous 24 heures. Cela ne retire pas les contenus déjà entrés dans l'entraînement.

Vérifier que ça marche

GPTBot respecte robots.txt — mais n'entre quand même pas si un WAF ou une protection anti-robots rejette d'abord l'agent utilisateur avec un 403. citeglass appelle votre page avec le vrai agent utilisateur de GPTBot et indique si la règle robots.txt et la réponse réelle du serveur concordent.

Vérifiez votre propre site