CCBot a Common Crawl

Common Crawl vytvára voľne dostupný webový archív, ktorý sa dostáva do tréningových dát mnohých jazykových modelov.

Prečo je CCBot výnimočný

Ak zablokujete len GPTBot a ClaudeBot, váš obsah sa aj tak môže dostať do modelov cez dátovú sadu Common Crawl. Kto tréning zásadne odmieta, musí počítať aj s CCBotom.

Blokovanie

„User-agent: CCBot“ nasledované „Disallow: /“. Common Crawl rešpektuje robots.txt pri ďalšom prechode; existujúce záznamy v archíve zostávajú, kým sa sada nezozbiera nanovo.

Zváženie

Common Crawl sa používa aj na výskum, vyhľadávacie projekty a archiváciu. Blokovanie zasiahne všetky tieto účely, nielen komerčný tréning AI.

Kontrola pravidla

citeglass ukazuje, či váš robots.txt CCBot povoľuje alebo blokuje a či je pravidlo špecifické pre bota, alebo platí len cez blok „User-agent: *“.

Skontrolujte vlastný web

citeglass ukáže za asi 30 sekúnd, kde je váš web pre AI systémy nečitateľný — zdarma a bez prihlásenia.

Čítať ďalej

Všeobecná informácia, nie právne poradenstvo. GEO je mladý odbor — odporúčania sa môžu meniť.