Ana sayfa › Bilgi tabanı › Konular

Tüm yapay zeka tarayıcılarını dışarıda tutma

İçeriği ilkesel olarak yapay zeka sistemlerinden uzak tutmak isteyen, adı geçen her bot için kural gerektirir — joker karakter yetmez, çünkü birçok bot onu yok sayar veya kendi bloklarını bekler.

Botların listesi

En azından şunlar dikkate alınmalı: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. Her bot için "Disallow: /" içeren ayrı bir blok.

robots.txt'nin yapamayacakları

robots.txt bir ricadır, zorlama değil. Bytespider veya Perplexity gibi botlar onu atlatmakla eleştirildi. Sert engellemeler için ek olarak user-agent'lara ve mümkün olduğunda doğrulanmış IP aralıklarına WAF veya güvenlik duvarı kuralları.

Bedeli

Tam engelleme sizi kaynak bağlantılı yapay zeka yanıtlarından çıkarır — yani bilgi aramanın büyüyen bir bölümünden. Birçok site için daha hedefli seçenek daha mantıklıdır: eğitimi yasakla, aramaya izin ver.

Etkiyi kontrol et

citeglass sayfanızı bu user-agent'ların her biriyle çeker ve bir matriste hangi botun robots.txt'ye göre engellendiğini ve sunucunuzun engellemeyi gerçekten uygulayıp uygulamadığını gösterir.

Kendi sitenizi kontrol edin

citeglass, yaklaşık 30 saniyede sitenizin YZ sistemleri için nerede okunamaz olduğunu gösterir — ücretsiz ve oturum açmadan.

Devamını oku

Genel bilgi, hukuki danışmanlık değil. GEO genç bir alandır — öneriler değişebilir.