Ana sayfa › Bilgi tabanı › seo.cat.crawler

ClaudeBot ve Anthropic tarayıcıları

Anthropic, Claude için üç tarayıcı işletir: biri eğitim, biri arama ve biri kullanıcı isteği üzerine alma için.

Üç bot

ClaudeBot eğitim verisi toplar. Claude-SearchBot, Claude'daki web araması için dizini oluşturur. Claude-User, bir kullanıcı sohbette istediğinde bir sayfayı alır. Yalnızca ClaudeBot model eğitimini ilgilendirir.

Erişimi düzenleme

Bot başına kendi robots.txt bloğu. Eğitimi reddeden ama Claude yanıtlarında alıntılanmak isteyen, ClaudeBot'u "Disallow: /" ile engeller ve Claude-SearchBot ile Claude-User'a izin vermeye devam eder.

Sık yapılan hata

Tek bir "User-agent: Claude*" bloğu işe yaramaz — robots.txt, tek başına "*" dışında user-agent adında joker karakter tanımaz. Her botu tek tek adlandırın.

Sunucu yanıtını kontrol etme

citeglass sayfanızı ClaudeBot, Claude-SearchBot ve Claude-User'ın gerçek user-agent'larıyla alır ve robots.txt bir bota izin verirken sunucunun onu reddettiği durumu işaretler.

Kendi sitenizi kontrol edin

citeglass, yaklaşık 30 saniyede sitenizin YZ sistemleri için nerede okunamaz olduğunu gösterir — ücretsiz ve oturum açmadan.

Devamını oku

• GPTBot'a izin verme veya engelleme
• PerplexityBot ve Perplexity-User
• robots.txt'de YZ tarayıcılarını yönetmek

Genel bilgi, hukuki danışmanlık değil. GEO genç bir alandır — öneriler değişebilir.