Bytespider od ByteDance

Bytespider je crawler ByteDance (TikTok, Doubao) a jeden z nejaktivnějších AI botů na webu.

Pověst a chování

Bytespider si v minulosti získal pozornost vysokou frekvencí procházení a nejednotným dodržováním robots.txt. Pro mnoho provozovatelů je kandidátem na blokování, pokud nemají zájem o čínský trh.

Blokování

„User-agent: Bytespider“ následované „Disallow: /“. Protože dodržování není zaručeno, doporučuje se navíc pravidlo WAF nebo firewallu na řetězec user-agenta.

Kdy povolit

Kdo chce být viditelný v čínsky mluvícím prostoru — třeba přes Doubao — měl by Bytespider povolit a zatížení serveru místo toho omezit přes rate-limity.

Kontrola přístupu

citeglass načte vaši stránku s user-agentem Bytespider a ukáže, zda pravidlo robots.txt a odpověď serveru odpovídají.

Zkontrolujte vlastní web

citeglass ukáže během asi 30 sekund, kde je váš web pro AI systémy nečitelný — zdarma a bez přihlášení.

Číst dál

Obecná informace, nikoli právní poradenství. GEO je mladý obor — doporučení se mohou měnit.