Start › Wissen › KI-Crawler im Detail

ClaudeBot und die Anthropic-Crawler

Anthropic betreibt drei Crawler für Claude: einen fürs Training, einen für die Suche und einen für den Abruf auf Nutzeranfrage.

Die drei Bots

ClaudeBot sammelt Trainingsdaten. Claude-SearchBot baut den Index für die Websuche in Claude. Claude-User ruft eine Seite ab, wenn ein Nutzer im Gespräch danach verlangt. Nur ClaudeBot betrifft das Modelltraining.

Zugriff regeln

Je Bot ein eigener robots.txt-Block. Wer Training ablehnt, aber in Claude-Antworten zitiert werden will, sperrt ClaudeBot per „Disallow: /“ und erlaubt Claude-SearchBot und Claude-User weiter.

Häufiger Fehler

Ein einzelner Block „User-agent: Claude*“ funktioniert nicht — robots.txt kennt keine Wildcards im User-Agent-Namen außer dem alleinstehenden „*“. Jeden Bot einzeln nennen.

Server-Antwort prüfen

citeglass ruft deine Seite mit den echten User-Agents von ClaudeBot, Claude-SearchBot und Claude-User ab und markiert, wenn die robots.txt einen Bot erlaubt, der Server ihn aber abweist.

Prüf deine eigene Seite

citeglass zeigt in rund 30 Sekunden, wo deine Website für KI-Systeme unlesbar ist — kostenlos und ohne Login.

Weiterlesen

Allgemeine Information, keine Rechtsberatung. GEO ist ein junges Feld — Empfehlungen können sich ändern.