Domov › Baza znanja › seo.cat.crawler

Bytespider podjetja ByteDance

Bytespider je pregledovalnik podjetja ByteDance (TikTok, Doubao) in eden najdejavnejših botov UI na spletu.

Ugled in vedenje

Bytespider je v preteklosti izstopal z visoko pogostostjo pregledovanja in neenotnim upoštevanjem robots.txt. Za mnoge upravljavce je kandidat za blokiranje, če ni zanimanja za kitajski trg.

Blokiranje

„User-agent: Bytespider“, ki mu sledi „Disallow: /“. Ker upoštevanje ni zajamčeno, se dodatno priporoča pravilo WAF ali požarnega zidu na niz user-agent.

Kdaj dovoliti

Kdor želi biti viden na kitajsko govorečem območju — na primer prek Doubaa — naj Bytespider dovoli in namesto tega omeji obremenitev strežnika z omejitvami hitrosti.

Preverjanje dostopa

citeglass pridobi tvojo stran z user-agentom Bytespider in pokaže, ali se pravilo robots.txt in odgovor strežnika ujemata.

Preverite svoje spletno mesto

citeglass v približno 30 sekundah pokaže, kje je vaše spletno mesto za UI-sisteme neberljivo — brezplačno in brez prijave.

Preberite naprej

• CCBot in Common Crawl
• Izključitev vseh pregledovalnikov UI
• Dovoliti ali blokirati GPTBot

Splošne informacije, ne pravni nasvet. GEO je mlado področje — priporočila se lahko spremenijo.