Beranda › Basis pengetahuan › Dasar

Mengendalikan perayap AI di robots.txt

Setiap penyedia AI besar menjalankan perayapnya sendiri dengan nama agen pengguna sendiri. Melalui robots.txt Anda memutuskan per bot apakah ia boleh memuat konten Anda.

Perayap AI terpenting

OpenAI: GPTBot (pelatihan), OAI-SearchBot (pencarian ChatGPT), ChatGPT-User (pengambilan atas permintaan pengguna). Anthropic: ClaudeBot, Claude-SearchBot, Claude-User. Perplexity: PerplexityBot, Perplexity-User. Google: Google-Extended (pelatihan Gemini) — pengambilan sebenarnya untuk ikhtisar AI dilakukan melalui Googlebot biasa. Selain itu Common Crawl (CCBot), Amazonbot, Bytespider, Applebot-Extended, dan Meta-ExternalAgent.

Mengizinkan secara tepat sasaran

Untuk visibilitas AI maksimal, beri bot yang relevan blok sendiri dengan «Allow: /». Penting: blok khusus bot menggantikan blok «User-agent: *» sepenuhnya untuk bot itu — ulangi aturan disallow yang diperlukan di sana.

Mengecualikan secara tepat sasaran

Jika Anda menolak pelatihan tetapi ingin tetap terlihat di pencarian AI, Anda dapat memblokir GPTBot dan Google-Extended serta mengizinkan OAI-SearchBot dan Googlebot. Ini keputusan menyangkut konten, bukan sekadar teknis.

Mengapa robots.txt sering tidak cukup

Banyak situs mengizinkan bot di robots.txt tetapi memblokirnya di tingkat server: aturan WAF, «Bot Fight Mode» Cloudflare, atau firewall menolak perayap dengan 403. Bot mematuhi robots.txt dan tetap tidak bisa masuk. citeglass membuat ketidaksesuaian ini terlihat.

Memverifikasi

Daftar izin sebaiknya berisi bot yang terverifikasi. OpenAI, Anthropic, Perplexity, dan Google menerbitkan rentang IP perayap mereka; verifikasi juga melalui DNS terbalik alih-alih hanya mengandalkan string agen pengguna.

Periksa situs Anda sendiri

citeglass menunjukkan dalam sekitar 30 detik di mana situs Anda tidak terbaca oleh sistem AI — gratis dan tanpa login.

Baca lebih lanjut

Informasi umum, bukan nasihat hukum. GEO adalah bidang yang masih muda — rekomendasi bisa berubah.