Beranda › Basis pengetahuan › seo.cat.crawler

Bytespider dari ByteDance

Bytespider adalah perayap ByteDance (TikTok, Doubao) dan salah satu bot AI paling aktif di web.

Reputasi dan perilaku

Bytespider di masa lalu menonjol karena frekuensi perayapan yang tinggi dan kepatuhan robots.txt yang tidak konsisten. Bagi banyak operator, ia kandidat untuk diblokir jika tidak ada minat pada pasar Tiongkok.

Memblokir

"User-agent: Bytespider" diikuti "Disallow: /". Karena kepatuhan tidak dijamin, disarankan pula aturan WAF atau firewall pada string user-agent.

Kapan mengizinkan

Siapa pun yang ingin terlihat di kawasan berbahasa Tiongkok — misalnya lewat Doubao — sebaiknya mengizinkan Bytespider dan sebagai gantinya membatasi beban server lewat batas laju.

Memeriksa akses

citeglass mengambil halaman Anda dengan user-agent Bytespider dan menunjukkan apakah aturan robots.txt dan respons server cocok.

Periksa situs Anda sendiri

citeglass menunjukkan dalam sekitar 30 detik di mana situs Anda tidak terbaca oleh sistem AI — gratis dan tanpa login.

Baca lebih lanjut

• CCBot dan Common Crawl
• Memblokir semua perayap AI
• Mengizinkan atau memblokir GPTBot

Informasi umum, bukan nasihat hukum. GEO adalah bidang yang masih muda — rekomendasi bisa berubah.