CCBot a Common Crawl

Common Crawl vytváří volně dostupný webový archiv, který se dostává do trénovacích dat řady jazykových modelů.

Proč je CCBot zvláštní

Když zablokujete jen GPTBot a ClaudeBot, váš obsah se přesto může dostat do modelů přes datovou sadu Common Crawl. Kdo trénování zásadně odmítá, musí počítat i s CCBotem.

Blokování

„User-agent: CCBot“ následované „Disallow: /“. Common Crawl respektuje robots.txt při příštím průchodu; stávající záznamy v archivu zůstávají, dokud se sada nesesbírá znovu.

Zvážení

Common Crawl se používá i pro výzkum, vyhledávací projekty a archivaci. Blokování zasáhne všechny tyto účely, nejen komerční trénování AI.

Kontrola pravidla

citeglass ukazuje, zda váš robots.txt CCBot povoluje nebo blokuje a zda je pravidlo specifické pro bota, nebo platí jen přes blok „User-agent: *“.

Zkontrolujte vlastní web

citeglass ukáže během asi 30 sekund, kde je váš web pro AI systémy nečitelný — zdarma a bez přihlášení.

Číst dál

Obecná informace, nikoli právní poradenství. GEO je mladý obor — doporučení se mohou měnit.