Beranda › Basis pengetahuan › seo.cat.crawler

Mengizinkan atau memblokir GPTBot

GPTBot adalah perayap yang digunakan OpenAI untuk mengumpulkan konten yang tersedia untuk umum guna melatih model masa depan.

Untuk apa GPTBot bertanggung jawab

GPTBot memuat halaman untuk data pelatihan — bukan untuk menjawab pertanyaan pengguna yang konkret di ChatGPT. Pencarian langsung di ChatGPT ditangani oleh OAI-SearchBot dan ChatGPT-User. Yang memblokir GPTBot tetapi ingin tetap terlihat di pencarian AI harus terus mengizinkan keduanya.

Mengizinkan

Blok tersendiri memberi GPTBot akses penuh: "User-agent: GPTBot" diikuti "Allow: /". Penting: blok khusus bot untuk GPTBot sepenuhnya menggantikan blok "User-agent: *" — ulangi aturan Disallow yang diperlukan di sana.

Memblokir

"User-agent: GPTBot" diikuti "Disallow: /" menjauhkan GPTBot dari seluruh domain. OpenAI biasanya mematuhi robots.txt dalam 24 jam. Konten yang sudah masuk ke pelatihan tidak dapat ditarik kembali oleh ini.

Memeriksa apakah berhasil

GPTBot mematuhi robots.txt — tetapi tetap tidak lolos jika WAF atau perlindungan bot menolak user-agent lebih dulu dengan 403. citeglass mengambil halaman Anda dengan user-agent GPTBot asli dan menunjukkan apakah aturan robots.txt dan respons server yang sebenarnya cocok.

Periksa situs Anda sendiri

citeglass menunjukkan dalam sekitar 30 detik di mana situs Anda tidak terbaca oleh sistem AI — gratis dan tanpa login.

Baca lebih lanjut

Informasi umum, bukan nasihat hukum. GEO adalah bidang yang masih muda — rekomendasi bisa berubah.