Início › Recursos › Os rastreadores de IA em detalhe

Bytespider, da ByteDance

O Bytespider é o rastreador da ByteDance (TikTok, Doubao) e um dos bots de IA mais ativos da web.

Reputação e comportamento

No passado, o Bytespider destacou-se pela alta frequência de rastreio e um cumprimento irregular do robots.txt. Para muitos operadores é um candidato a bloqueio se não houver interesse no mercado chinês.

Bloqueá-lo

«User-agent: Bytespider» seguido de «Disallow: /». Como o cumprimento não é garantido, é aconselhável uma regra adicional de WAF ou firewall sobre a cadeia do agente de utilizador.

Quando permitir

Quem quiser visibilidade no mercado de língua chinesa — por exemplo através do Doubao — deve permitir o Bytespider e limitar antes a carga do servidor com limites de taxa.

Verificar o acesso

O citeglass solicita a tua página com o agente de utilizador do Bytespider e mostra se a regra do robots.txt e a resposta do servidor coincidem.

Verifique o seu próprio site

O citeglass mostra em cerca de 30 segundos onde o seu site é ilegível para os sistemas de IA — gratuito e sem registo.

Continuar a ler

Informação geral, não aconselhamento jurídico. O GEO é um campo jovem — as recomendações podem mudar.