KI-Crawler in der robots.txt steuern
Jeder große KI-Anbieter betreibt eigene Crawler mit eigenen User-Agent-Namen. Über die robots.txt entscheidest du je Bot, ob er deine Inhalte laden darf.
Die wichtigsten KI-Crawler
OpenAI: GPTBot (Training), OAI-SearchBot (ChatGPT-Suche), ChatGPT-User (Abruf auf Nutzeranfrage). Anthropic: ClaudeBot, Claude-SearchBot, Claude-User. Perplexity: PerplexityBot, Perplexity-User. Google: Google-Extended (Gemini-Training) — der eigentliche Abruf für KI-Übersichten läuft über den normalen Googlebot. Dazu Common Crawl (CCBot), Amazonbot, Bytespider, Applebot-Extended und Meta-ExternalAgent.
Gezielt erlauben
Für maximale KI-Sichtbarkeit gibst du den relevanten Bots einen eigenen Block mit „Allow: /“. Wichtig: Ein bot-spezifischer Block ersetzt für diesen Bot den „User-agent: *“-Block vollständig — wiederhole dort nötige Disallow-Regeln.
Gezielt ausschließen
Wenn du Training ablehnst, aber in der KI-Suche sichtbar bleiben willst, kannst du GPTBot und Google-Extended sperren, OAI-SearchBot und Googlebot aber erlauben. Das ist eine inhaltliche Entscheidung, keine rein technische.
Warum die robots.txt oft nicht reicht
Viele Seiten erlauben Bots in der robots.txt, blocken sie aber auf Serverebene: eine WAF-Regel, ein Cloudflare-„Bot Fight Mode“ oder eine Firewall weist den Crawler mit 403 ab. Der Bot hält sich an die robots.txt und kommt trotzdem nicht rein. citeglass macht diese Abweichung sichtbar.
Verifizieren
Auf Ausnahmelisten gehören verifizierte Bots. OpenAI, Anthropic, Perplexity und Google veröffentlichen die IP-Bereiche ihrer Crawler; prüfe zusätzlich per Reverse-DNS, statt dich nur auf den User-Agent-String zu verlassen.
Prüf deine eigene Seite
citeglass zeigt in rund 30 Sekunden, wo deine Website für KI-Systeme unlesbar ist — kostenlos und ohne Login.
Weiterlesen
Allgemeine Information, keine Rechtsberatung. GEO ist ein junges Feld — Empfehlungen können sich ändern.