Ana sayfa › Bilgi tabanı › seo.cat.crawler

GPTBot'a izin verme veya engelleme

GPTBot, OpenAI'nin gelecekteki modellerin eğitimi için herkese açık içeriği topladığı tarayıcıdır.

GPTBot neyden sorumlu

GPTBot eğitim verileri için sayfa yükler — ChatGPT'de belirli bir kullanıcı sorusunu yanıtlamak için değil. ChatGPT'deki canlı aramadan OAI-SearchBot ve ChatGPT-User sorumludur. GPTBot'u engelleyen ama AI aramasında görünür kalmak isteyen, bu ikisine izin vermeye devam etmelidir.

İzin verme

Ayrı bir blok GPTBot'a tam erişim verir: "User-agent: GPTBot" ardından "Allow: /". Önemli: bota özgü bir blok GPTBot için "User-agent: *" bloğunu tamamen değiştirir — gerekli Disallow kurallarını orada tekrarlayın.

Engelleme

"User-agent: GPTBot" ardından "Disallow: /" GPTBot'u tüm alan adından uzak tutar. OpenAI genellikle 24 saat içinde robots.txt'ye uyar. Eğitime zaten girmiş içeriği bu geri getirmez.

İşe yarayıp yaramadığını kontrol etme

GPTBot robots.txt'ye uyar — ama bir WAF veya bot koruması user-agent'ı önceden 403 ile reddederse yine de geçemez. citeglass sayfanızı gerçek GPTBot user-agent'ıyla alır ve robots.txt kuralı ile gerçek sunucu yanıtının uyuşup uyuşmadığını gösterir.

Kendi sitenizi kontrol edin

citeglass, yaklaşık 30 saniyede sitenizin YZ sistemleri için nerede okunamaz olduğunu gösterir — ücretsiz ve oturum açmadan.

Devamını oku

Genel bilgi, hukuki danışmanlık değil. GEO genç bir alandır — öneriler değişebilir.