Home › Risorse › I crawler IA nel dettaglio

ClaudeBot e i crawler di Anthropic

Anthropic gestisce tre crawler per Claude: uno per l'addestramento, uno per la ricerca e uno per il recupero su richiesta dell'utente.

I tre bot

ClaudeBot raccoglie dati di addestramento. Claude-SearchBot costruisce l'indice per la ricerca web in Claude. Claude-User richiama una pagina quando un utente lo chiede in una conversazione. Solo ClaudeBot riguarda l'addestramento del modello.

Gestire l'accesso

Un blocco robots.txt per bot. Se rifiuti l'addestramento ma vuoi essere citato nelle risposte di Claude, blocca ClaudeBot con «Disallow: /» e continua a consentire Claude-SearchBot e Claude-User.

Un errore frequente

Un unico blocco «User-agent: Claude*» non funziona: il robots.txt non conosce caratteri jolly nel nome dello user agent, tranne il «*» isolato. Nomina ogni bot singolarmente.

Verificare la risposta del server

citeglass richiama la tua pagina con gli user agent reali di ClaudeBot, Claude-SearchBot e Claude-User e segnala i casi in cui il robots.txt consente un bot ma il server lo respinge.

Controlla il tuo sito

citeglass mostra in circa 30 secondi dove il tuo sito è illeggibile per i sistemi IA — gratis e senza registrazione.

Continua a leggere

Informazione generale, non consulenza legale. Il GEO è un campo giovane — le raccomandazioni possono cambiare.