Ana sayfa › Bilgi tabanı › Temeller

robots.txt'de YZ tarayıcılarını yönetmek

Her büyük YZ sağlayıcısı kendi kullanıcı aracısı adlarıyla kendi tarayıcılarını işletir. robots.txt aracılığıyla her bot için içeriğinizi yükleyip yükleyemeyeceğine karar verirsiniz.

En önemli YZ tarayıcıları

OpenAI: GPTBot (eğitim), OAI-SearchBot (ChatGPT araması), ChatGPT-User (kullanıcı isteği üzerine getirme). Anthropic: ClaudeBot, Claude-SearchBot, Claude-User. Perplexity: PerplexityBot, Perplexity-User. Google: Google-Extended (Gemini eğitimi) — YZ genel bakışları için asıl getirme normal Googlebot üzerinden yapılır. Ayrıca Common Crawl (CCBot), Amazonbot, Bytespider, Applebot-Extended ve Meta-ExternalAgent.

Hedefli izin verme

Maksimum YZ görünürlüğü için ilgili botlara «Allow: /» içeren kendi bloklarını verin. Önemli: bota özgü bir blok, o bot için «User-agent: *» bloğunu tamamen değiştirir — gerekli disallow kurallarını orada tekrarlayın.

Hedefli dışlama

Eğitimi reddediyor ama YZ aramasında görünür kalmak istiyorsanız GPTBot ve Google-Extended'i engelleyip OAI-SearchBot ve Googlebot'a izin verebilirsiniz. Bu, salt teknik değil, içeriğe dair bir karardır.

Neden robots.txt genellikle yetersizdir

Birçok site robots.txt'de botlara izin verir ama sunucu düzeyinde onları engeller: bir WAF kuralı, Cloudflare'in «Bot Fight Mode»u veya bir güvenlik duvarı tarayıcıyı 403 ile reddeder. Bot robots.txt'ye uyar ama yine de giremez. citeglass bu tutarsızlığı görünür kılar.

Doğrulama

İzin listelerinde doğrulanmış botlar olmalıdır. OpenAI, Anthropic, Perplexity ve Google tarayıcılarının IP aralıklarını yayımlar; yalnızca kullanıcı aracısı dizesine güvenmek yerine ayrıca ters DNS ile kontrol edin.

Kendi sitenizi kontrol edin

citeglass, yaklaşık 30 saniyede sitenizin YZ sistemleri için nerede okunamaz olduğunu gösterir — ücretsiz ve oturum açmadan.

Devamını oku

Genel bilgi, hukuki danışmanlık değil. GEO genç bir alandır — öneriler değişebilir.