Bytespider från ByteDance

Bytespider är ByteDances crawler (TikTok, Doubao) och en av de mest aktiva AI-botarna på webben.

Rykte och beteende

Bytespider väckte tidigare uppmärksamhet med hög crawl-frekvens och ojämn efterlevnad av robots.txt. För många operatörer är den en kandidat för blockering om det inte finns intresse för den kinesiska marknaden.

Blockering

”User-agent: Bytespider” följt av ”Disallow: /”. Eftersom efterlevnaden inte är garanterad rekommenderas dessutom en WAF- eller brandväggsregel på user-agent-strängen.

När tillåta

Den som vill synas i det kinesisktalande området — till exempel via Doubao — bör tillåta Bytespider och i stället begränsa serverbelastningen med hastighetsgränser.

Kontrollera åtkomst

citeglass hämtar din sida med Bytespider-user-agenten och visar om robots.txt-regeln och serversvaret stämmer överens.

Kontrollera din egen webbplats

citeglass visar på cirka 30 sekunder var din webbplats är oläsbar för AI-system — gratis och utan inloggning.

Läs vidare

Allmän information, inte juridisk rådgivning. GEO är ett ungt område — rekommendationer kan ändras.