Start › Kennisbank › Onderwerpen

Training verbieden, zoeken toestaan

De meeste aanbieders scheiden de trainingscrawler van de zoekcrawler. Zo kun je uit de modeltraining stappen en toch als geciteerde bron verschijnen.

De trainingsbots blokkeren

Disallow voor: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), plus de tokens Google-Extended en Applebot-Extended. Optioneel Meta-ExternalAgent als je ook uit de Llama-training wilt.

De zoekbots toestaan

Allow voor: OAI-SearchBot en ChatGPT-User (ChatGPT-zoeken), Claude-SearchBot en Claude-User (Claude), PerplexityBot en Perplexity-User (Perplexity), Googlebot (Google Zoeken en AI-overzichten).

Grijze gebieden

Niet elke aanbieder scheidt netjes: Common Crawl kent geen zoeken, Bytespider mengt beide. En een fragment kan in een AI-overzicht belanden ook als je training hebt geblokkeerd — dat volgt de zoekindexering.

De configuratie controleren

citeglass toont per bot afzonderlijk de geldende robots.txt-regel en het echte serverantwoord — zo zie je in één oogopslag of de scheiding 'training uit, zoeken aan' echt standhoudt.

Controleer je eigen site

citeglass laat in ongeveer 30 seconden zien waar je website onleesbaar is voor AI-systemen — gratis en zonder account.

Verder lezen

Algemene informatie, geen juridisch advies. GEO is een jong vakgebied — aanbevelingen kunnen veranderen.