Start › Kennisbank › AI-crawlers in detail

CCBot en Common Crawl

Common Crawl maakt een vrij beschikbaar webarchief dat in de trainingsdata van talrijke taalmodellen terechtkomt.

Waarom CCBot bijzonder is

Als je alleen GPTBot en ClaudeBot blokkeert, kan je inhoud alsnog via de Common Crawl-dataset in modellen belanden. Wie training principieel afwijst, moet CCBot meenemen.

Blokkeren

'User-agent: CCBot' gevolgd door 'Disallow: /'. Common Crawl respecteert robots.txt bij de volgende crawlronde; bestaande archiefvermeldingen blijven tot de dataset opnieuw wordt verzameld.

De afweging

Common Crawl wordt ook gebruikt voor onderzoek, zoekprojecten en archivering. Een blokkade raakt al die doelen, niet alleen commerciële AI-training.

De regel controleren

citeglass toont of je robots.txt CCBot toestaat of blokkeert en of de regel bot-specifiek is of alleen via het 'User-agent: *'-blok geldt.

Controleer je eigen site

citeglass laat in ongeveer 30 seconden zien waar je website onleesbaar is voor AI-systemen — gratis en zonder account.

Verder lezen

• GPTBot toestaan of blokkeren
• Alle AI-crawlers weren
• AI-crawlers sturen in robots.txt

Algemene informatie, geen juridisch advies. GEO is een jong vakgebied — aanbevelingen kunnen veranderen.