Start › Wissen › KI-Crawler im Detail

Google-Extended und Googlebot

Google-Extended ist kein eigener Crawler, sondern ein robots.txt-Token, mit dem du die Nutzung deiner Inhalte fürs Gemini-Training steuerst.

Zwei getrennte Hebel

Der Abruf für Google-Suche und KI-Übersichten läuft über den normalen Googlebot. Google-Extended entscheidet nur, ob deine Inhalte zusätzlich fürs Training generativer Google-Modelle verwendet werden dürfen.

Nur Training ausschließen

„User-agent: Google-Extended“ gefolgt von „Disallow: /“ nimmt dich aus dem Gemini-Training, ohne die Sichtbarkeit in der Google-Suche oder den KI-Übersichten zu berühren — Googlebot bleibt erlaubt.

Was das nicht bewirkt

Google-Extended verhindert nicht, dass ein Textausschnitt deiner Seite in einer KI-Übersicht zitiert wird — das folgt der normalen Suchindexierung. Wer da nicht erscheinen will, muss die Seite für Googlebot einschränken und verliert damit auch die klassische Suche.

Status prüfen

citeglass liest deine robots.txt aus und zeigt je Bot — Googlebot und Google-Extended — die geltende Regel, inklusive der Frage, ob sie über eine Wildcard oder einen eigenen Block gilt.

Prüf deine eigene Seite

citeglass zeigt in rund 30 Sekunden, wo deine Website für KI-Systeme unlesbar ist — kostenlos und ohne Login.

Weiterlesen

• Google KI-Übersichten
• GPTBot erlauben oder blockieren
• Training verbieten, Suche erlauben

Allgemeine Information, keine Rechtsberatung. GEO ist ein junges Feld — Empfehlungen können sich ändern.