ClaudeBot og Anthropic-crawlerne

Anthropic driver tre crawlere til Claude: en til træning, en til søgning og en til hentning på brugeranmodning.

De tre bots

ClaudeBot indsamler træningsdata. Claude-SearchBot opbygger indekset til websøgningen i Claude. Claude-User henter en side, når en bruger beder om det i samtalen. Kun ClaudeBot vedrører modeltræningen.

Regulér adgang

En egen robots.txt-blok pr. bot. Den, der afviser træning, men vil citeres i Claude-svar, spærrer ClaudeBot med ”Disallow: /” og tillader fortsat Claude-SearchBot og Claude-User.

Hyppig fejl

En enkelt blok ”User-agent: Claude*” virker ikke — robots.txt kender ikke wildcards i user-agent-navnet ud over det fritstående ”*”. Nævn hver bot enkeltvis.

Kontrollér serversvar

citeglass henter din side med de rigtige user-agents for ClaudeBot, Claude-SearchBot og Claude-User og markerer, når robots.txt tillader en bot, men serveren afviser den.

Tjek dit eget site

citeglass viser på cirka 30 sekunder, hvor dit website er ulæsbart for AI-systemer — gratis og uden login.

Læs videre

Generel information, ikke juridisk rådgivning. GEO er et ungt felt — anbefalinger kan ændre sig.