Start › Kennisbank › AI-crawlers in detail

ClaudeBot en de Anthropic-crawlers

Anthropic gebruikt drie crawlers voor Claude: een voor training, een voor zoeken en een voor het ophalen op gebruikersverzoek.

De drie bots

ClaudeBot verzamelt trainingsdata. Claude-SearchBot bouwt de index voor webzoeken in Claude. Claude-User haalt een pagina op wanneer een gebruiker daarom vraagt in een gesprek. Alleen ClaudeBot betreft modeltraining.

Toegang regelen

Eén robots.txt-blok per bot. Als je training afwijst maar in Claude-antwoorden geciteerd wilt worden, blokkeer je ClaudeBot met 'Disallow: /' en blijf je Claude-SearchBot en Claude-User toestaan.

Een veelgemaakte fout

Eén enkel blok 'User-agent: Claude*' werkt niet — robots.txt kent geen jokertekens in de user-agentnaam behalve de losstaande '*'. Noem elke bot afzonderlijk.

Het serverantwoord controleren

citeglass roept je pagina op met de echte user agents van ClaudeBot, Claude-SearchBot en Claude-User en markeert de gevallen waarin robots.txt een bot toestaat maar de server hem afwijst.

Controleer je eigen site

citeglass laat in ongeveer 30 seconden zien waar je website onleesbaar is voor AI-systemen — gratis en zonder account.

Verder lezen

• GPTBot toestaan of blokkeren
• PerplexityBot en Perplexity-User
• AI-crawlers sturen in robots.txt

Algemene informatie, geen juridisch advies. GEO is een jong vakgebied — aanbevelingen kunnen veranderen.