Beranda › Basis pengetahuan › seo.cat.crawler

CCBot dan Common Crawl

Common Crawl membangun arsip web yang tersedia bebas dan masuk ke data pelatihan banyak model bahasa.

Mengapa CCBot istimewa

Jika Anda hanya memblokir GPTBot dan ClaudeBot, konten Anda tetap bisa masuk ke model melalui set data Common Crawl. Siapa pun yang pada prinsipnya menolak pelatihan harus memperhitungkan CCBot.

Memblokir

"User-agent: CCBot" diikuti "Disallow: /". Common Crawl menghormati robots.txt pada perayapan berikutnya; entri arsip yang ada tetap sampai set data dikumpulkan ulang.

Pertimbangan

Common Crawl juga digunakan untuk riset, proyek pencarian, dan pengarsipan. Pemblokiran memengaruhi semua tujuan itu, bukan hanya pelatihan AI komersial.

Memeriksa aturan

citeglass menunjukkan apakah robots.txt Anda mengizinkan atau memblokir CCBot dan apakah aturannya spesifik bot atau hanya berlaku melalui blok "User-agent: *".

Periksa situs Anda sendiri

citeglass menunjukkan dalam sekitar 30 detik di mana situs Anda tidak terbaca oleh sistem AI — gratis dan tanpa login.

Baca lebih lanjut

• Mengizinkan atau memblokir GPTBot
• Memblokir semua perayap AI
• Mengendalikan perayap AI di robots.txt

Informasi umum, bukan nasihat hukum. GEO adalah bidang yang masih muda — rekomendasi bisa berubah.