Ana sayfa › Bilgi tabanı › seo.cat.crawler

CCBot ve Common Crawl

Common Crawl, çok sayıda dil modelinin eğitim verisine giren, serbestçe erişilebilen bir web arşivi oluşturur.

CCBot neden özeldir

Yalnızca GPTBot ve ClaudeBot'u engellerseniz, içeriğiniz yine de Common Crawl veri kümesi üzerinden modellere girebilir. Eğitimi ilkesel olarak reddeden, CCBot'u da hesaba katmalıdır.

Engelleme

"User-agent: CCBot" ardından "Disallow: /". Common Crawl bir sonraki tarama turunda robots.txt'ye uyar; mevcut arşiv kayıtları, veri kümesi yeniden toplanana kadar kalır.

Değerlendirme

Common Crawl araştırma, arama projeleri ve arşivleme için de kullanılır. Bir engelleme yalnızca ticari yapay zeka eğitimini değil, bu amaçların tümünü etkiler.

Kuralı kontrol et

citeglass, robots.txt'nizin CCBot'a izin verip vermediğini veya engelleyip engellemediğini ve kuralın bota özel mi olduğunu yoksa yalnızca "User-agent: *" bloğu üzerinden mi geçerli olduğunu gösterir.

Kendi sitenizi kontrol edin

citeglass, yaklaşık 30 saniyede sitenizin YZ sistemleri için nerede okunamaz olduğunu gösterir — ücretsiz ve oturum açmadan.

Devamını oku

• GPTBot'a izin verme veya engelleme
• Tüm yapay zeka tarayıcılarını dışarıda tutma
• robots.txt'de YZ tarayıcılarını yönetmek

Genel bilgi, hukuki danışmanlık değil. GEO genç bir alandır — öneriler değişebilir.