Wichtige KI-Crawler sind per robots.txt gesperrt

Deine robots.txt verbietet 5 zentralen KI-Crawlern den Zugriff: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended. Diese Systeme können deine Inhalte dann nicht laden und nicht als Quelle verwenden.

Das solltest du tun: Prüfe je Bot, ob die Sperre gewollt ist. Für KI-Sichtbarkeit sollten mindestens GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot und Google-Extended erlaubt sein.

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

Server blockt Bots, obwohl robots.txt sie erlaubt

Für 1 Bot(s) von Amazon (Alexa/Rufus) sagt die robots.txt „erlaubt“, aber der Server antwortet mit 403 oder einer Bot-Schutz-Seite. Meist eine WAF-, Firewall- oder CDN-Regel, die den Crawler an der robots.txt vorbei aussperrt.

Das solltest du tun: Setze in deiner WAF / bei Cloudflare / in der Firewall die User-Agents bzw. IP-Bereiche der gewünschten KI-Crawler auf eine Ausnahmeliste. Verifiziere sie über DNS-Reverse-Lookup, nicht nur über den User-Agent-String.

Seitentitel zu kurz oder zu lang

Der <title> ist 66 Zeichen lang. Sinnvoll sind rund 30–60 Zeichen: aussagekräftig genug, um das Thema zu benennen, kurz genug, um nicht abgeschnitten zu werden.

Das solltest du tun: Formuliere einen prägnanten Titel, der Thema und ggf. Marke enthält.

Keine llms.txt

Unter /llms.txt liegt keine Datei. llms.txt ist eine kurze, in Markdown gehaltene Übersicht deiner wichtigsten Inhalte, die einige KI-Systeme zur Orientierung nutzen.

Das solltest du tun: Lege eine /llms.txt an: eine H1 mit dem Namen, ein kurzer Absatz zum Angebot und eine Linkliste zu den zentralen Seiten.

# Deine Firma

> Kurzbeschreibung in einem Satz.

## Wichtige Seiten
- [Produkt](https://deine-domain.de/produkt): …
- [Preise](https://deine-domain.de/preise): …
- [Über uns](https://deine-domain.de/ueber-uns): …

Kein Organisation-Schema

Es gibt JSON-LD, aber keinen „Organization“-Eintrag. KI-Systeme können deine Marke dann schlechter als eindeutige Entität einordnen und mit externen Quellen verknüpfen.

Das solltest du tun: Füge ein „Organization“-Schema mit name, url, logo und sameAs (Links zu deinen offiziellen Profilen) hinzu.

Kein FAQ- oder HowTo-Markup

Frage-Antwort- und Schritt-für-Schritt-Inhalte sind ohne FAQPage- oder HowTo-Markup für KI-Systeme schwerer als direkt zitierfähige Antwort zu erkennen.

Das solltest du tun: Wo die Seite echte Fragen beantwortet oder Anleitungen gibt, zeichne sie als FAQPage bzw. HowTo aus (kein Markup ohne sichtbar passenden Inhalt).

Kein Autoren- oder Urhebersignal

Es ist kein Autor erkennbar (weder Meta-Tag, rel=author noch JSON-LD Person). Für „Experience“ und „Expertise“ im E-E-A-T-Sinn ist eine benannte, nachvollziehbare Urheberschaft wichtig.

Das solltest du tun: Nenne bei redaktionellen Inhalten einen Autor mit Namen und verlinke eine Autorenseite; zeichne ihn zusätzlich als JSON-LD „Person“ aus.

Kein sichtbares oder ausgezeichnetes Datum

Es ist kein Veröffentlichungs- oder Änderungsdatum erkennbar (weder <time>, article:published_time noch datePublished im JSON-LD). KI-Systeme bevorzugen bei vielen Fragen aktuelle Quellen.

Das solltest du tun: Zeige bei Inhalten mit zeitlichem Bezug ein Datum sichtbar an und zeichne datePublished / dateModified im JSON-LD aus.