Beranda › Basis pengetahuan › Topik

Larang pelatihan, izinkan pencarian

Sebagian besar penyedia memisahkan perayap pelatihan dari perayap pencarian. Dengan begitu kamu bisa keluar dari pelatihan model dan tetap muncul sebagai sumber yang dikutip.

Blokir bot pelatihan

Disallow untuk: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), plus token Google-Extended dan Applebot-Extended. Opsional Meta-ExternalAgent jika kamu juga ingin keluar dari pelatihan Llama.

Izinkan bot pencarian

Allow untuk: OAI-SearchBot dan ChatGPT-User (pencarian ChatGPT), Claude-SearchBot dan Claude-User (Claude), PerplexityBot dan Perplexity-User (Perplexity), Googlebot (pencarian Google dan ringkasan AI).

Zona abu-abu

Tidak setiap penyedia memisahkan dengan bersih: Common Crawl tidak mengenal pencarian, Bytespider mencampur keduanya. Dan cuplikan teks bisa berakhir di ringkasan AI, bahkan jika kamu telah melarang pelatihan — itu mengikuti pengindeksan pencarian.

Periksa konfigurasi

citeglass menampilkan per bot secara terpisah aturan robots.txt yang berlaku dan respons server yang sebenarnya — jadi kamu melihat sekilas apakah pemisahan "pelatihan mati, pencarian nyala" benar-benar berlaku.

Periksa situs Anda sendiri

citeglass menunjukkan dalam sekitar 30 detik di mana situs Anda tidak terbaca oleh sistem AI — gratis dan tanpa login.

Baca lebih lanjut

• Memblokir semua perayap AI
• Mengizinkan atau memblokir GPTBot
• Google-Extended dan Googlebot

Informasi umum, bukan nasihat hukum. GEO adalah bidang yang masih muda — rekomendasi bisa berubah.