Bytespider od ByteDance

Bytespider je crawler ByteDance (TikTok, Doubao) a jeden z najaktívnejších AI botov na webe.

Povesť a správanie

Bytespider v minulosti upútal vysokou frekvenciou prehľadávania a nejednotným dodržiavaním robots.txt. Pre mnohých prevádzkovateľov je kandidátom na blokovanie, ak nemajú záujem o čínsky trh.

Blokovanie

„User-agent: Bytespider“ nasledované „Disallow: /“. Keďže dodržiavanie nie je zaručené, navyše sa odporúča pravidlo WAF alebo firewallu na reťazec user-agenta.

Kedy povoliť

Kto chce byť viditeľný v čínsky hovoriacom priestore — napríklad cez Doubao — mal by Bytespider povoliť a zaťaženie servera namiesto toho obmedziť cez rate-limity.

Kontrola prístupu

citeglass načíta vašu stránku s user-agentom Bytespider a ukáže, či pravidlo robots.txt a odpoveď servera sedia.

Skontrolujte vlastný web

citeglass ukáže za asi 30 sekúnd, kde je váš web pre AI systémy nečitateľný — zdarma a bez prihlásenia.

Čítať ďalej

Všeobecná informácia, nie právne poradenstvo. GEO je mladý odbor — odporúčania sa môžu meniť.