Beranda › Basis pengetahuan › Topik

Memblokir semua perayap AI

Siapa pun yang pada prinsipnya ingin menjauhkan konten dari sistem AI membutuhkan aturan untuk setiap bot bernama — wildcard tidak cukup, karena banyak bot mengabaikannya atau mengharapkan blok sendiri.

Daftar bot

Setidaknya perlu dipertimbangkan: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. Per bot satu blok sendiri dengan "Disallow: /".

Apa yang tidak bisa dilakukan robots.txt

robots.txt adalah permintaan, bukan paksaan. Bot seperti Bytespider atau Perplexity dikritik karena mengakalinya. Untuk blokir keras, tambahkan aturan WAF atau firewall pada user-agent dan, jika memungkinkan, pada rentang IP terverifikasi.

Harganya

Blokir total mengeluarkan Anda dari jawaban AI dengan tautan sumber — jadi dari bagian pencarian informasi yang terus tumbuh. Untuk banyak situs, varian yang lebih tepat sasaran lebih masuk akal: larang pelatihan, izinkan pencarian.

Periksa efeknya

citeglass mengambil halaman Anda dengan setiap user-agent ini dan menunjukkan dalam matriks bot mana yang diblokir menurut robots.txt dan apakah server Anda benar-benar menegakkan blokir tersebut.

Periksa situs Anda sendiri

citeglass menunjukkan dalam sekitar 30 detik di mana situs Anda tidak terbaca oleh sistem AI — gratis dan tanpa login.

Baca lebih lanjut

• Larang pelatihan, izinkan pencarian
• Mengendalikan perayap AI di robots.txt
• CCBot dan Common Crawl

Informasi umum, bukan nasihat hukum. GEO adalah bidang yang masih muda — rekomendasi bisa berubah.