ClaudeBot och Anthropic-sökrobotarna

Anthropic driver tre sökrobotar för Claude: en för träning, en för sökning och en för hämtning på användarförfrågan.

De tre bottarna

ClaudeBot samlar in träningsdata. Claude-SearchBot bygger indexet för webbsökningen i Claude. Claude-User hämtar en sida när en användare ber om det i samtalet. Endast ClaudeBot berör modellträningen.

Reglera åtkomst

Ett eget robots.txt-block per bot. Den som avvisar träning men vill citeras i Claude-svar spärrar ClaudeBot med ”Disallow: /” och tillåter fortsatt Claude-SearchBot och Claude-User.

Vanligt fel

Ett enda block ”User-agent: Claude*” fungerar inte — robots.txt känner inte till wildcards i user-agent-namnet utom det fristående ”*”. Nämn varje bot enskilt.

Kontrollera serversvar

citeglass hämtar din sida med de riktiga user-agenterna för ClaudeBot, Claude-SearchBot och Claude-User och markerar när robots.txt tillåter en bot men servern avvisar den.

Kontrollera din egen webbplats

citeglass visar på cirka 30 sekunder var din webbplats är oläsbar för AI-system — gratis och utan inloggning.

Läs vidare

Allmän information, inte juridisk rådgivning. GEO är ett ungt område — rekommendationer kan ändras.