Home › Risorse › I crawler IA nel dettaglio

Consentire o bloccare GPTBot

GPTBot è il crawler con cui OpenAI raccoglie contenuti pubblicamente accessibili per addestrare i modelli futuri.

A cosa serve GPTBot

GPTBot scarica pagine per i dati di addestramento, non per rispondere a una domanda specifica in ChatGPT. Della ricerca in tempo reale in ChatGPT si occupano OAI-SearchBot e ChatGPT-User. Chi blocca GPTBot ma vuole restare visibile nella ricerca IA deve continuare a consentire questi due.

Consentirlo

Un blocco dedicato dà a GPTBot pieno accesso: «User-agent: GPTBot» seguito da «Allow: /». Importante: un blocco specifico per bot sostituisce completamente il blocco «User-agent: *» per GPTBot — ripeti lì le regole Disallow necessarie.

Bloccarlo

«User-agent: GPTBot» seguito da «Disallow: /» tiene GPTBot fuori dall'intero dominio. OpenAI di norma rispetta il robots.txt entro 24 ore. Questo non recupera i contenuti già confluiti nell'addestramento.

Verificare se funziona

GPTBot rispetta il robots.txt, ma non entra comunque se un WAF o una protezione anti-bot respinge prima lo user agent con un 403. citeglass richiama la tua pagina con lo user agent reale di GPTBot e mostra se la regola del robots.txt e la risposta effettiva del server coincidono.

Controlla il tuo sito

citeglass mostra in circa 30 secondi dove il tuo sito è illeggibile per i sistemi IA — gratis e senza registrazione.

Continua a leggere

Informazione generale, non consulenza legale. Il GEO è un campo giovane — le raccomandazioni possono cambiare.