Server blockt Bots, obwohl robots.txt sie erlaubt

Für 13 Bot(s) von OpenAI, Anthropic, Perplexity, Google (KI-Übersichten), Common Crawl (Trainingsdaten vieler LLMs), ByteDance (Doubao), Amazon (Alexa/Rufus), Meta (Llama/Meta AI) sagt die robots.txt „erlaubt“, aber der Server antwortet mit 403 oder einer Bot-Schutz-Seite. Meist eine WAF-, Firewall- oder CDN-Regel, die den Crawler an der robots.txt vorbei aussperrt.

Das solltest du tun: Setze in deiner WAF / bei Cloudflare / in der Firewall die User-Agents bzw. IP-Bereiche der gewünschten KI-Crawler auf eine Ausnahmeliste. Verifiziere sie über DNS-Reverse-Lookup, nicht nur über den User-Agent-String.

Keine robots.txt gefunden

Unter /robots.txt war keine gültige Datei erreichbar. Crawler gehen dann von „alles erlaubt“ aus — funktioniert, aber du hast keine Steuerung und kein Sitemap-Signal.

Das solltest du tun: Lege eine robots.txt im Wurzelverzeichnis an, mindestens mit einem Sitemap-Verweis und den gewünschten Allow-/Disallow-Regeln.

User-agent: *
Allow: /

Sitemap: https://deine-domain.de/sitemap.xml

Sehr wenig Text im HTML

Im initialen HTML stehen nur rund 40 Zeichen sichtbarer Text. Das reicht KI-Systemen kaum, um das Thema der Seite sicher zu erfassen.

Das solltest du tun: Stelle sicher, dass der eigentliche Inhalt vollständig im HTML steht und nicht in Bildern, iframes oder per JavaScript nachgeladenen Blöcken steckt.

Keine strukturierten Daten (JSON-LD)

Die Seite enthält kein JSON-LD. Strukturierte Daten helfen KI-Systemen, Entitäten, Autor, Organisation, Datum und Seitentyp eindeutig zu erkennen — ohne sie muss alles aus dem Fließtext geraten werden.

Das solltest du tun: Ergänze mindestens ein „Organization“- und ein zum Seitentyp passendes Schema (Article, Product, FAQPage …) als JSON-LD im <head>.

<script type="application/ld+json">
{"@context":"https://schema.org","@type":"Organization",
 "name":"Deine Firma","url":"https://deine-domain.de",
 "sameAs":["https://www.linkedin.com/company/…"]}
</script>

Seitentitel zu kurz oder zu lang

Der <title> ist 13 Zeichen lang. Sinnvoll sind rund 30–60 Zeichen: aussagekräftig genug, um das Thema zu benennen, kurz genug, um nicht abgeschnitten zu werden.

Das solltest du tun: Formuliere einen prägnanten Titel, der Thema und ggf. Marke enthält.

Meta-Description fehlt oder ist unpassend

Die Meta-Description ist 0 Zeichen lang. Sie ist oft das erste, was KI-Systeme und Suchmaschinen als Zusammenfassung der Seite lesen.

Das solltest du tun: Schreibe eine eigenständige Zusammenfassung der Seite in ein bis zwei Sätzen (rund 120–200 Zeichen), kein aneinandergereihtes Keyword-Set.

Keine llms.txt

Unter /llms.txt liegt keine Datei. llms.txt ist eine kurze, in Markdown gehaltene Übersicht deiner wichtigsten Inhalte, die einige KI-Systeme zur Orientierung nutzen.

Das solltest du tun: Lege eine /llms.txt an: eine H1 mit dem Namen, ein kurzer Absatz zum Angebot und eine Linkliste zu den zentralen Seiten.

# Deine Firma

> Kurzbeschreibung in einem Satz.

## Wichtige Seiten
- [Produkt](https://deine-domain.de/produkt): …
- [Preise](https://deine-domain.de/preise): …
- [Über uns](https://deine-domain.de/ueber-uns): …

Kein Autoren- oder Urhebersignal

Es ist kein Autor erkennbar (weder Meta-Tag, rel=author noch JSON-LD Person). Für „Experience“ und „Expertise“ im E-E-A-T-Sinn ist eine benannte, nachvollziehbare Urheberschaft wichtig.

Das solltest du tun: Nenne bei redaktionellen Inhalten einen Autor mit Namen und verlinke eine Autorenseite; zeichne ihn zusätzlich als JSON-LD „Person“ aus.

Keine sameAs-Verknüpfungen

Im JSON-LD fehlt „sameAs“. Damit ordnen KI-Systeme deine Marke oder Person klar bekannten Entitäten zu (Wikidata, LinkedIn, Branchenverzeichnisse).

Das solltest du tun: Ergänze in Organization bzw. Person ein „sameAs“ mit den URLs deiner offiziellen Profile und Verzeichnis-Einträge.

Kein Link zu Impressum / Über uns / Kontakt

Auf der geprüften Seite ist kein Link zu Impressum, „Über uns“ oder Kontakt erkennbar. Solche Seiten sind ein starkes Vertrauenssignal (Trust) und helfen bei der Entitäts-Zuordnung.

Das solltest du tun: Verlinke Impressum bzw. „Über uns“ und Kontakt gut sichtbar, üblicherweise im Footer jeder Seite.

Kein sichtbares oder ausgezeichnetes Datum

Es ist kein Veröffentlichungs- oder Änderungsdatum erkennbar (weder <time>, article:published_time noch datePublished im JSON-LD). KI-Systeme bevorzugen bei vielen Fragen aktuelle Quellen.

Das solltest du tun: Zeige bei Inhalten mit zeitlichem Bezug ein Datum sichtbar an und zeichne datePublished / dateModified im JSON-LD aus.

Keine sitemap.xml gefunden

Unter /sitemap.xml war keine gültige XML-Sitemap erreichbar und die robots.txt nennt keine. Eine Sitemap hilft Crawlern, alle relevanten URLs zu finden.

Das solltest du tun: Erzeuge eine sitemap.xml mit allen indexierbaren URLs und verweise in der robots.txt darauf.

Keine Canonical-URL

Die Seite setzt kein <link rel="canonical">. Ohne Canonical kann bei mehreren URL-Varianten unklar bleiben, welche Fassung die maßgebliche ist.

Das solltest du tun: Setze auf jeder Seite ein selbstreferenzierendes <link rel="canonical"> mit der bevorzugten URL.