CCBot og Common Crawl

Common Crawl opbygger et frit tilgængeligt webarkiv, der indgår i træningsdataene for talrige sprogmodeller.

Hvorfor CCBot er speciel

Blokerer du kun GPTBot og ClaudeBot, kan dit indhold alligevel havne i modeller via Common Crawl-datasættet. Den, der principielt afviser træning, skal tænke CCBot med.

Blokering

„User-agent: CCBot“ efterfulgt af „Disallow: /“. Common Crawl respekterer robots.txt ved næste crawl-gennemløb; eksisterende arkivposter bliver, indtil datasættet indsamles på ny.

Afvejning

Common Crawl bruges også til forskning, søgeprojekter og arkivering. En blokering rammer alle disse formål, ikke kun kommerciel AI-træning.

Tjek reglen

citeglass viser, om din robots.txt tillader eller blokerer CCBot, og om reglen er bot-specifik eller kun virker via „User-agent: *“-blokken.

Tjek dit eget site

citeglass viser på cirka 30 sekunder, hvor dit website er ulæsbart for AI-systemer — gratis og uden login.

Læs videre

Generel information, ikke juridisk rådgivning. GEO er et ungt felt — anbefalinger kan ændre sig.