CCBot och Common Crawl

Common Crawl bygger ett fritt tillgängligt webbarkiv som ingår i träningsdatan för ett stort antal språkmodeller.

Varför CCBot är speciell

Blockerar du bara GPTBot och ClaudeBot kan ditt innehåll ändå hamna i modeller via Common Crawl-datamängden. Den som principiellt avvisar träning måste tänka på CCBot också.

Blockering

”User-agent: CCBot” följt av ”Disallow: /”. Common Crawl respekterar robots.txt vid nästa genomsökning; befintliga arkivposter blir kvar tills datamängden samlas in på nytt.

Avvägning

Common Crawl används även för forskning, sökprojekt och arkivering. En blockering drabbar alla dessa syften, inte bara kommersiell AI-träning.

Kontrollera regeln

citeglass visar om din robots.txt tillåter eller blockerar CCBot och om regeln är bot-specifik eller bara verkar via ”User-agent: *”-blocket.

Kontrollera din egen webbplats

citeglass visar på cirka 30 sekunder var din webbplats är oläsbar för AI-system — gratis och utan inloggning.

Läs vidare

Allmän information, inte juridisk rådgivning. GEO är ett ungt område — rekommendationer kan ändras.