Tjekket den 4.9.2026 · https://www.nytimes.com/
Der er 2 kritiske blokeringer for AI-findbarhed — ret dem først.
AI-crawler-matrix
For hver bot: hvad din robots.txt tillader — og hvad din server faktisk returnerer til bottens user-agent. Rækker markeret med rødt: robots tillader det, men serveren blokerer det (som regel en WAF- eller botbeskyttelsesregel).
| Bot | Operatør | robots.txt | Serversvar |
|---|---|---|---|
| GPTBot | OpenAI | blokeret | blokeret (403 / WAF) |
| OAI-SearchBot | OpenAI | blokeret | blokeret (403 / WAF) |
| ChatGPT-User | OpenAI | blokeret | blokeret (403 / WAF) |
| ClaudeBot | Anthropic | blokeret | blokeret (403 / WAF) |
| Claude-SearchBot | Anthropic | blokeret | blokeret (403 / WAF) |
| Claude-User | Anthropic | blokeret | blokeret (403 / WAF) |
| PerplexityBot | Perplexity | blokeret | blokeret (403 / WAF) |
| Perplexity-User | Perplexity | blokeret | blokeret (403 / WAF) |
| Google-Extended | Google (Gemini-Training) | blokeret | — |
| Googlebot | Google (KI-Übersichten) | tilladt | 200 + indhold |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | blokeret | blokeret (403 / WAF) |
| Bytespider | ByteDance (Doubao) | blokeret | blokeret (403 / WAF) |
| Amazonbot | Amazon (Alexa/Rufus) | tilladt | blokeret (403 / WAF) |
| Applebot-Extended | Apple (Intelligence-Training) | blokeret | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | blokeret | blokeret (403 / WAF) |
Hvordan beregnes scoren?
| Vigtige AI-crawlere er blokeret i robots.txt | -32 |
| Serveren blokerer bots, selvom robots.txt tillader dem | -6 |
| Sidetitlen er for kort eller for lang | -6 |
| Ingen llms.txt | -5 |
| Intet Organization-skema | -4 |
| Intet forfatter- eller ophavssignal | -4 |
| Ingen synlig eller markeret dato | -3 |
| Ingen FAQ- eller HowTo-markup | -2 |
| Resultat | 38 / 100 |
Adgang for AI-crawlere
Vigtige AI-crawlere er blokeret i robots.txt
Din robots.txt forbyder adgang for 5 centrale AI-crawlere: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended. Disse systemer kan så ikke indlæse dit indhold eller bruge det som kilde.
Dette bør du gøre: Tjek pr. bot, om blokeringen er tilsigtet. For AI-synlighed bør mindst GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot og Google-Extended være tilladt.
User-agent: GPTBot Allow: / User-agent: PerplexityBot Allow: /
Serveren blokerer bots, selvom robots.txt tillader dem
For 1 bot(s) fra Amazon (Alexa/Rufus) siger robots.txt »tilladt«, men serveren svarer med en 403 eller en botbeskyttelsesside. Som regel en WAF-, firewall- eller CDN-regel, der lukker crawleren ude uden om robots.txt.
Dette bør du gøre: Sæt user-agents og/eller IP-intervaller for de ønskede AI-crawlere på en tilladelsesliste i din WAF / Cloudflare / firewall. Verificer dem via omvendt DNS, ikke kun via user-agent-strengen.
Struktur og maskinforståelse
Sidetitlen er for kort eller for lang
<title> er 66 tegn lang. Cirka 30-60 tegn er fornuftigt: beskrivende nok til at navngive emnet, kort nok til ikke at blive skåret af.
Dette bør du gøre: Skriv en kortfattet titel, der indeholder emnet og evt. brandet.
Ingen llms.txt
Der ligger ingen fil på /llms.txt. llms.txt er en kort Markdown-oversigt over dit vigtigste indhold, som nogle AI-systemer bruger til at orientere sig.
Dette bør du gøre: Opret en /llms.txt: en H1 med navnet, et kort afsnit om tilbuddet og en linkliste til de centrale sider.
# Din virksomhed > Beskrivelse i én sætning. ## Vigtige sider - [Produkt](https://dit-domaene.dk/produkt): … - [Priser](https://dit-domaene.dk/priser): … - [Om os](https://dit-domaene.dk/om-os): …
Intet Organization-skema
Der er JSON-LD, men ingen »Organization«-post. AI-systemer placerer så dit brand dårligere som selvstændig entitet og forbinder det dårligere med eksterne kilder.
Dette bør du gøre: Tilføj et »Organization«-skema med name, url, logo og sameAs (links til dine officielle profiler).
Ingen FAQ- eller HowTo-markup
Spørgsmål-svar- og trin-for-trin-indhold er sværere for AI-systemer at genkende som direkte citerbart svar uden FAQPage- eller HowTo-markup.
Dette bør du gøre: Hvor siden besvarer rigtige spørgsmål eller giver vejledninger, så marker den som FAQPage eller HowTo (ingen markup uden synligt tilsvarende indhold).
Tillids- og entitetssignaler (E-E-A-T)
Intet forfatter- eller ophavssignal
Ingen forfatter kan genkendes (hverken metatag, rel=author eller JSON-LD Person). For »erfaring« og »ekspertise« i E-E-A-T-forstand tæller et navngivet, sporbart ophav.
Dette bør du gøre: Ved redaktionelt indhold: navngiv en forfatter og link til en forfatterside; marker vedkommende også som JSON-LD »Person«.
Ingen synlig eller markeret dato
Ingen udgivelses- eller ændringsdato kan genkendes (hverken <time>, article:published_time eller datePublished i JSON-LD). Ved mange spørgsmål foretrækker AI-systemer aktuelle kilder.
Dette bør du gøre: Ved indhold med tidsmæssig relevans: vis en dato synligt og marker datePublished / dateModified i JSON-LD.
I orden (7)
- Hovedindholdet er i HTML'en uden JavaScript.
- Der er strukturerede data (JSON-LD). — WebSite, NewsMediaOrganization
- Præcis én H1-overskrift.
- Der er sat en canonical-URL.
- Sitemappet kan nås.
- Hurtig svartid fra serveren.
- Ingen noindex — siden må indekseres.
Næste skridt
- Vigtige AI-crawlere er blokeret i robots.txt. Tjek pr. bot, om blokeringen er tilsigtet. For AI-synlighed bør mindst GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot og Google-Extended være tilladt.
- Serveren blokerer bots, selvom robots.txt tillader dem. Sæt user-agents og/eller IP-intervaller for de ønskede AI-crawlere på en tilladelsesliste i din WAF / Cloudflare / firewall. Verificer dem via omvendt DNS, ikke kun via user-agent-strengen.
- Sidetitlen er for kort eller for lang. Skriv en kortfattet titel, der indeholder emnet og evt. brandet.
Ugentlig gen-scanning med e-mailadvarsel ved hver ændring. Under forberedelse — indtast din adresse.
Metode og grænser
Tjekket den 4.9.2026. citeglass henter nytimes.com og de tilhørende filer (robots.txt, llms.txt, sitemap.xml) via HTTP — én gang som normal browser, én gang pr. AI-crawler-user-agent. Der køres ikke JavaScript. Tid til første byte: 235 ms.
Hvad det ikke er: Ingen placerings- eller citatovervågning, ingen udtalelse om, hvorvidt en model faktisk nævner dig, og ingen kontrol af indhold, der indlæses via JavaScript. Et øjebliksbillede set fra én server-IP.