Alle KI-Crawler aussperren
Wer Inhalte grundsätzlich aus KI-Systemen heraushalten will, braucht Regeln für jeden benannten Bot — eine Wildcard reicht nicht, weil viele Bots sie ignorieren oder eigene Blöcke erwarten.
Die Liste der Bots
Zu berücksichtigen sind mindestens: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. Je Bot ein eigener Block mit „Disallow: /“.
Was die robots.txt nicht kann
Die robots.txt ist eine Bitte, kein Zwang. Bots wie Bytespider oder Perplexity standen in der Kritik, sie zu umgehen. Für harte Sperren zusätzlich WAF- oder Firewall-Regeln auf die User-Agents und, wo möglich, auf verifizierte IP-Bereiche.
Der Preis
Eine Komplettsperre nimmt dich aus KI-Antworten mit Quellenlink — also aus einem wachsenden Teil der Informationssuche. Für viele Seiten ist die gezieltere Variante sinnvoller: Training verbieten, Suche erlauben.
Wirkung prüfen
citeglass ruft deine Seite mit jedem dieser User-Agents ab und zeigt in einer Matrix, welcher Bot laut robots.txt gesperrt ist und ob dein Server die Sperre tatsächlich durchsetzt.
Prüf deine eigene Seite
citeglass zeigt in rund 30 Sekunden, wo deine Website für KI-Systeme unlesbar ist — kostenlos und ohne Login.
Weiterlesen
Allgemeine Information, keine Rechtsberatung. GEO ist ein junges Feld — Empfehlungen können sich ändern.