Start › Kennisbank › Onderwerpen

Alle AI-crawlers weren

Wie inhoud principieel buiten AI-systemen wil houden, heeft regels nodig voor elke genoemde bot — een jokerteken volstaat niet, omdat veel bots het negeren of eigen blokken verwachten.

De lijst met bots

Minimaal moet je rekening houden met: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. Eén eigen blok per bot met 'Disallow: /'.

Wat robots.txt niet kan

robots.txt is een verzoek, geen dwang. Bots als Bytespider of Perplexity kregen kritiek omdat ze het omzeilden. Voeg voor harde blokkades WAF- of firewallregels toe op de user agents en, waar mogelijk, op geverifieerde IP-bereiken.

De prijs

Een volledige blokkade haalt je uit AI-antwoorden met bronlink — dus uit een groeiend deel van het zoeken naar informatie. Voor veel sites is de gerichtere variant zinniger: training blokkeren, zoeken toestaan.

De werking controleren

citeglass roept je pagina op met elk van deze user agents en toont in een matrix welke bot volgens robots.txt geblokkeerd is en of je server de blokkade daadwerkelijk afdwingt.

Controleer je eigen site

citeglass laat in ongeveer 30 seconden zien waar je website onleesbaar is voor AI-systemen — gratis en zonder account.

Verder lezen

• Training verbieden, zoeken toestaan
• AI-crawlers sturen in robots.txt
• CCBot en Common Crawl

Algemene informatie, geen juridisch advies. GEO is een jong vakgebied — aanbevelingen kunnen veranderen.