Forside › Kunnskapsbase › seo.cat.crawler

ClaudeBot og Anthropic-søkerobotene

Anthropic driver tre søkeroboter for Claude: én for trening, én for søk og én for henting på brukerforespørsel.

De tre bottene

ClaudeBot samler inn treningsdata. Claude-SearchBot bygger indeksen for websøket i Claude. Claude-User henter en side når en bruker ber om det i samtalen. Bare ClaudeBot gjelder modelltreningen.

Regulere tilgang

En egen robots.txt-blokk per bot. Den som avviser trening, men vil siteres i Claude-svar, sperrer ClaudeBot med «Disallow: /» og tillater fortsatt Claude-SearchBot og Claude-User.

Vanlig feil

En enkelt blokk «User-agent: Claude*» virker ikke — robots.txt kjenner ikke wildcards i user-agent-navnet utover det frittstående «*». Nevn hver bot enkeltvis.

Kontrollere serversvar

citeglass henter siden din med de ekte user-agentene for ClaudeBot, Claude-SearchBot og Claude-User og markerer når robots.txt tillater en bot, men serveren avviser den.

Sjekk ditt eget nettsted

citeglass viser på rundt 30 sekunder hvor nettstedet ditt er uleselig for KI-systemer — gratis og uten innlogging.

Les videre

• Tillate eller blokkere GPTBot
• PerplexityBot og Perplexity-User
• Styre KI-roboter i robots.txt

Generell informasjon, ikke juridisk rådgivning. GEO er et ungt felt — anbefalinger kan endre seg.