Beranda › Basis pengetahuan › seo.cat.crawler

ClaudeBot dan perayap Anthropic

Anthropic menjalankan tiga perayap untuk Claude: satu untuk pelatihan, satu untuk pencarian, dan satu untuk pengambilan atas permintaan pengguna.

Tiga bot

ClaudeBot mengumpulkan data pelatihan. Claude-SearchBot membangun indeks untuk pencarian web di Claude. Claude-User mengambil halaman ketika pengguna memintanya dalam percakapan. Hanya ClaudeBot yang menyangkut pelatihan model.

Mengatur akses

Satu blok robots.txt tersendiri per bot. Yang menolak pelatihan tetapi ingin dikutip dalam jawaban Claude memblokir ClaudeBot dengan "Disallow: /" dan tetap mengizinkan Claude-SearchBot dan Claude-User.

Kesalahan umum

Satu blok "User-agent: Claude*" tidak berfungsi — robots.txt tidak mengenal wildcard dalam nama user-agent selain "*" yang berdiri sendiri. Sebutkan setiap bot secara individual.

Memeriksa respons server

citeglass mengambil halaman Anda dengan user-agent asli ClaudeBot, Claude-SearchBot, dan Claude-User dan menandai ketika robots.txt mengizinkan bot tetapi server menolaknya.

Periksa situs Anda sendiri

citeglass menunjukkan dalam sekitar 30 detik di mana situs Anda tidak terbaca oleh sistem AI — gratis dan tanpa login.

Baca lebih lanjut

• Mengizinkan atau memblokir GPTBot
• PerplexityBot dan Perplexity-User
• Mengendalikan perayap AI di robots.txt

Informasi umum, bukan nasihat hukum. GEO adalah bidang yang masih muda — rekomendasi bisa berubah.