Bytespider tvrtke ByteDance

Bytespider je crawler tvrtke ByteDance (TikTok, Doubao) i jedan od najaktivnijih AI botova na webu.

Ugled i ponašanje

Bytespider je u prošlosti privukao pozornost visokom učestalošću pretraživanja i neujednačenim poštivanjem robots.txt. Za mnoge operatere kandidat je za blokiranje ako nema interesa za kinesko tržište.

Blokiranje

„User-agent: Bytespider“ nakon čega slijedi „Disallow: /“. Budući da poštivanje nije zajamčeno, dodatno se preporučuje pravilo WAF-a ili vatrozida na niz user-agenta.

Kada dopustiti

Tko želi biti vidljiv na kineskom govornom području — primjerice preko Doubaoa — trebao bi dopustiti Bytespider i umjesto toga ograničiti opterećenje poslužitelja ograničenjima brzine.

Provjera pristupa

citeglass dohvaća vašu stranicu s user-agentom Bytespider i pokazuje podudaraju li se pravilo robots.txt i odgovor poslužitelja.

Provjerite vlastitu stranicu

citeglass za oko 30 sekundi pokazuje gdje je vaša web stranica nečitljiva za UI sustave — besplatno i bez prijave.

Pročitaj dalje

Opća informacija, ne pravni savjet. GEO je mlado područje — preporuke se mogu mijenjati.