Home › Risorse › I crawler IA nel dettaglio

Bytespider di ByteDance

Bytespider è il crawler di ByteDance (TikTok, Doubao) e uno dei bot di IA più attivi sul web.

Reputazione e comportamento

In passato Bytespider si è distinto per l'alta frequenza di crawling e un rispetto incostante del robots.txt. Per molti gestori è un candidato al blocco se non c'è interesse per il mercato cinese.

Bloccarlo

«User-agent: Bytespider» seguito da «Disallow: /». Poiché il rispetto non è garantito, è consigliabile una regola WAF o firewall aggiuntiva sulla stringa dello user agent.

Quando consentirlo

Chi vuole visibilità nel mercato di lingua cinese, ad esempio tramite Doubao, dovrebbe consentire Bytespider e limitare piuttosto il carico del server con dei rate limit.

Verificare l'accesso

citeglass richiama la tua pagina con lo user agent di Bytespider e mostra se la regola del robots.txt e la risposta del server coincidono.

Controlla il tuo sito

citeglass mostra in circa 30 secondi dove il tuo sito è illeggibile per i sistemi IA — gratis e senza registrazione.

Continua a leggere

Informazione generale, non consulenza legale. Il GEO è un campo giovane — le raccomandazioni possono cambiare.