Bytespider fra ByteDance

Bytespider er ByteDances crawler (TikTok, Doubao) og en af de mest aktive AI-bots på nettet.

Ry og adfærd

Bytespider vakte tidligere opsigt med høj crawl-frekvens og uensartet overholdelse af robots.txt. For mange operatører er den en kandidat til blokering, hvis der ikke er interesse for det kinesiske marked.

Blokering

„User-agent: Bytespider“ efterfulgt af „Disallow: /“. Da overholdelsen ikke er garanteret, anbefales desuden en WAF- eller firewall-regel på user-agent-strengen.

Hvornår tillade

Den, der vil være synlig i det kinesisksprogede rum — f.eks. via Doubao — bør tillade Bytespider og i stedet begrænse serverbelastningen via rate-limits.

Tjek adgang

citeglass henter din side med Bytespider-user-agenten og viser, om robots.txt-reglen og serversvaret passer sammen.

Tjek dit eget site

citeglass viser på cirka 30 sekunder, hvor dit website er ulæsbart for AI-systemer — gratis og uden login.

Læs videre

Generel information, ikke juridisk rådgivning. GEO er et ungt felt — anbefalinger kan ændre sig.