Start › Wissen › KI-Crawler im Detail

OAI-SearchBot und ChatGPT-User

Wenn ChatGPT im Web sucht, rufen OAI-SearchBot und ChatGPT-User Seiten ab — getrennt vom Trainings-Crawler GPTBot.

Zwei Bots, zwei Aufgaben

OAI-SearchBot baut den Suchindex für die ChatGPT-Suche auf. ChatGPT-User ruft eine Seite auf, wenn ein Nutzer in seiner Frage konkret danach verlangt oder einen Link teilt. Beide liefern die Grundlage für zitierte Antworten mit Quellenlink.

Warum du sie erlauben solltest

Wer in ChatGPT als Quelle erscheinen will, muss diesen beiden Bots den Zugriff gestatten. Eine Sperre nur für GPTBot lässt die Suche unberührt; eine Sperre für „User-agent: *“ trifft auch OAI-SearchBot.

Die robots.txt-Regel

Für maximale Sichtbarkeit: je ein Block „User-agent: OAI-SearchBot“ und „User-agent: ChatGPT-User“, jeweils mit „Allow: /“. Sensible Bereiche (Login, Warenkorb, interne Suche) gezielt per Disallow ausnehmen.

Abrufbarkeit testen

citeglass prüft für OAI-SearchBot und ChatGPT-User getrennt, ob die robots.txt sie zulässt und ob dein Server ihnen tatsächlich Inhalt ausliefert — inklusive der Fälle, in denen ein Bot-Schutz sie trotz erlaubter robots.txt blockt.

Prüf deine eigene Seite

citeglass zeigt in rund 30 Sekunden, wo deine Website für KI-Systeme unlesbar ist — kostenlos und ohne Login.

Weiterlesen

• GPTBot erlauben oder blockieren
• Wie ChatGPT Quellen zitiert
• KI-Crawler in der robots.txt steuern

Allgemeine Information, keine Rechtsberatung. GEO ist ein junges Feld — Empfehlungen können sich ändern.