Forside › Kunnskapsbase › seo.cat.crawler

CCBot og Common Crawl

Common Crawl bygger et fritt tilgjengelig nettarkiv som inngår i treningsdataene til en rekke språkmodeller.

Hvorfor CCBot er spesiell

Blokkerer du bare GPTBot og ClaudeBot, kan innholdet ditt likevel havne i modeller via Common Crawl-datasettet. Den som prinsipielt avviser trening, må tenke på CCBot også.

Blokkering

«User-agent: CCBot» etterfulgt av «Disallow: /». Common Crawl respekterer robots.txt ved neste crawl-runde; eksisterende arkivoppføringer blir værende til datasettet samles inn på nytt.

Avveining

Common Crawl brukes også til forskning, søkeprosjekter og arkivering. En blokkering rammer alle disse formålene, ikke bare kommersiell AI-trening.

Sjekk regelen

citeglass viser om robots.txt-en din tillater eller blokkerer CCBot, og om regelen er bot-spesifikk eller bare virker via «User-agent: *»-blokken.

Sjekk ditt eget nettsted

citeglass viser på rundt 30 sekunder hvor nettstedet ditt er uleselig for KI-systemer — gratis og uten innlogging.

Les videre

• Tillate eller blokkere GPTBot
• Utestenge alle AI-crawlere
• Styre KI-roboter i robots.txt

Generell informasjon, ikke juridisk rådgivning. GEO er et ungt felt — anbefalinger kan endre seg.