Beranda › Basis pengetahuan › seo.cat.crawler

OAI-SearchBot dan ChatGPT-User

Ketika ChatGPT mencari di web, OAI-SearchBot dan ChatGPT-User mengambil halaman — terpisah dari perayap pelatihan GPTBot.

Dua bot, dua tugas

OAI-SearchBot membangun indeks pencarian untuk pencarian ChatGPT. ChatGPT-User membuka halaman ketika pengguna secara eksplisit memintanya dalam pertanyaannya atau membagikan tautan. Keduanya menyediakan dasar untuk jawaban yang dikutip dengan tautan sumber.

Mengapa Anda harus mengizinkannya

Yang ingin muncul sebagai sumber di ChatGPT harus memberi kedua bot ini akses. Pemblokiran hanya untuk GPTBot tidak memengaruhi pencarian; pemblokiran untuk "User-agent: *" juga memengaruhi OAI-SearchBot.

Aturan robots.txt

Untuk visibilitas maksimal: masing-masing satu blok untuk "User-agent: OAI-SearchBot" dan "User-agent: ChatGPT-User", keduanya dengan "Allow: /". Kecualikan area sensitif (login, keranjang, pencarian internal) secara tertarget dengan Disallow.

Menguji keterambilan

citeglass memeriksa untuk OAI-SearchBot dan ChatGPT-User secara terpisah apakah robots.txt mengizinkannya dan apakah server Anda benar-benar memberikan konten kepada mereka — termasuk kasus di mana perlindungan bot memblokirnya meski robots.txt mengizinkan.

Periksa situs Anda sendiri

citeglass menunjukkan dalam sekitar 30 detik di mana situs Anda tidak terbaca oleh sistem AI — gratis dan tanpa login.

Baca lebih lanjut

Informasi umum, bukan nasihat hukum. GEO adalah bidang yang masih muda — rekomendasi bisa berubah.