Forside › Kunnskapsbase › seo.cat.crawler

Bytespider fra ByteDance

Bytespider er ByteDances crawler (TikTok, Doubao) og en av de mest aktive AI-botene på nettet.

Rykte og oppførsel

Bytespider vakte tidligere oppsikt med høy crawl-frekvens og ujevn etterlevelse av robots.txt. For mange operatører er den en kandidat for blokkering hvis det ikke er interesse for det kinesiske markedet.

Blokkering

«User-agent: Bytespider» etterfulgt av «Disallow: /». Fordi etterlevelsen ikke er garantert, anbefales i tillegg en WAF- eller brannmurregel på user-agent-strengen.

Når tillate

Den som vil være synlig i det kinesiskspråklige rommet — for eksempel via Doubao — bør tillate Bytespider og i stedet begrense serverbelastningen med rate-grenser.

Sjekk tilgang

citeglass henter siden din med Bytespider-user-agenten og viser om robots.txt-regelen og serversvaret stemmer overens.

Sjekk ditt eget nettsted

citeglass viser på rundt 30 sekunder hvor nettstedet ditt er uleselig for KI-systemer — gratis og uten innlogging.

Les videre

• CCBot og Common Crawl
• Utestenge alle AI-crawlere
• Tillate eller blokkere GPTBot

Generell informasjon, ikke juridisk rådgivning. GEO er et ungt felt — anbefalinger kan endre seg.