Sākums › Zināšanu bāze › seo.cat.crawler

ByteDance Bytespider

Bytespider ir ByteDance (TikTok, Doubao) pārmeklētājs un viens no aktīvākajiem MI botiem tīmeklī.

Reputācija un uzvedība

Bytespider pagātnē izcēlās ar augstu pārmeklēšanas biežumu un nekonsekventu robots.txt ievērošanu. Daudziem operatoriem tas ir bloķēšanas kandidāts, ja nav intereses par Ķīnas tirgu.

Bloķēšana

„User-agent: Bytespider“, kam seko „Disallow: /“. Tā kā ievērošana nav garantēta, papildus ieteicams WAF vai ugunsmūra noteikums user-agent virknei.

Kad atļaut

Kas vēlas būt redzams ķīniešu valodas telpā — piemēram, caur Doubao — tam vajadzētu atļaut Bytespider un tā vietā ierobežot servera slodzi ar ātruma ierobežojumiem.

Piekļuves pārbaude

citeglass ielādē jūsu lapu ar Bytespider user-agent un parāda, vai robots.txt noteikums un servera atbilde sakrīt.

Pārbaudiet savu vietni

citeglass aptuveni 30 sekundēs parāda, kur jūsu vietne MI sistēmām ir nelasāma — bez maksas un bez pieteikšanās.

Lasīt tālāk

• CCBot un Common Crawl
• Visu MI pārmeklētāju izslēgšana
• GPTBot atļaušana vai bloķēšana

Vispārīga informācija, nevis juridiska konsultācija. GEO ir jauna joma — ieteikumi var mainīties.