Tjekket den 24.9.2026 · https://www.nytimes.com/
Der er 2 kritiske blokeringer for AI-findbarhed — ret dem først.
AI-crawler-matrix
For hver bot: hvad din robots.txt tillader — og hvad din server faktisk returnerer til bottens user-agent. Rækker markeret med rødt: robots tillader det, men serveren blokerer det (som regel en WAF- eller botbeskyttelsesregel).
| Bot | Operatør | robots.txt | Serversvar |
|---|---|---|---|
| GPTBot | OpenAI | blokeret | blokeret (403 / WAF) |
| OAI-SearchBot | OpenAI | blokeret | blokeret (403 / WAF) |
| ChatGPT-User | OpenAI | blokeret | blokeret (403 / WAF) |
| ClaudeBot | Anthropic | blokeret | blokeret (403 / WAF) |
| Claude-SearchBot | Anthropic | blokeret | blokeret (403 / WAF) |
| Claude-User | Anthropic | blokeret | blokeret (403 / WAF) |
| PerplexityBot | Perplexity | blokeret | blokeret (403 / WAF) |
| Perplexity-User | Perplexity | blokeret | blokeret (403 / WAF) |
| Google-Extended | Google (Gemini-Training) | blokeret | — |
| Googlebot | Google (KI-Übersichten) | tilladt | blokeret (403 / WAF) |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | blokeret | blokeret (403 / WAF) |
| Bytespider | ByteDance (Doubao) | blokeret | blokeret (403 / WAF) |
| Amazonbot | Amazon (Alexa/Rufus) | tilladt | blokeret (403 / WAF) |
| Applebot-Extended | Apple (Intelligence-Training) | blokeret | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | blokeret | blokeret (403 / WAF) |
Hvordan beregnes scoren?
| AI-søgebots er blokeret i robots.txt | -32 |
| Serveren blokerer bots, selvom robots.txt tillader dem | -12 |
| Meget lidt tekst i HTML'en | -10 |
| Ingen strukturerede data (JSON-LD) | -8 |
| Sidetitlen er for kort eller for lang | -6 |
| Ikke præcis én H1-overskrift | -5 |
| Meta-beskrivelse mangler eller passer ikke | -5 |
| Ingen llms.txt | -5 |
| Intet forfatter- eller ophavssignal | -4 |
| Ingen sameAs-forbindelser | -3 |
| Intet link til juridisk info / om os / kontakt | -3 |
| Ingen synlig eller markeret dato | -3 |
| Ingen canonical-URL | -3 |
| Resultat | 1 / 100 |
Adgang for AI-crawlere
AI-søgebots er blokeret i robots.txt
Din robots.txt blokerer 6 bots, der henter indhold til svar i AI-assistenter og søgemaskiner: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User. Så længe de er blokeret, kan dit site ikke optræde der som kilde.
Dette bør du gøre: Tjek for hver bot, om blokeringen er tilsigtet. Vil du kun fravælge AI-træning, så bloker træningsbotterne (GPTBot, ClaudeBot, Google-Extended) og tillad søgebotterne.
User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: /
Serveren blokerer bots, selvom robots.txt tillader dem
For 2 bot(s) fra Google (KI-Übersichten), Amazon (Alexa/Rufus) siger robots.txt »tilladt«, men serveren svarer med en 403 eller en botbeskyttelsesside. Som regel en WAF-, firewall- eller CDN-regel, der lukker crawleren ude uden om robots.txt.
Dette bør du gøre: Sæt user-agents og/eller IP-intervaller for de ønskede AI-crawlere på en tilladelsesliste i din WAF / Cloudflare / firewall. Verificer dem via omvendt DNS, ikke kun via user-agent-strengen.
AI-træning fravalgt
Din robots.txt blokerer crawlere, der indsamler indhold til træning af sprogmodeller: GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended. Det forhindrer ikke citater — søge- og hentebots som OAI-SearchBot, PerplexityBot og Googlebot til AI-oversigter er adskilt fra dem.
Dette bør du gøre: Intet at gøre, hvis fravalget er tilsigtet. Sørg blot for, at søgebotterne fortsat er tilladt.
Indhold uden JavaScript
Meget lidt tekst i HTML'en
Den oprindelige HTML indeholder kun omkring 55 tegn synlig tekst. Det er næppe nok til, at AI-systemer sikkert kan fange sidens emne.
Dette bør du gøre: Sørg for, at det egentlige indhold står fuldt ud i HTML'en og ikke i billeder, iframes eller blokke, der indlæses via JavaScript.
Struktur og maskinforståelse
Ingen strukturerede data (JSON-LD)
Siden indeholder ingen JSON-LD. Strukturerede data hjælper AI-systemer med entydigt at genkende entiteter, forfatter, organisation, dato og sidetype — uden dem skal alt gættes ud fra brødteksten.
Dette bør du gøre: Tilføj mindst et »Organization«-skema og et, der passer til sidetypen (Article, Product, FAQPage …), som JSON-LD i <head>.
<script type="application/ld+json">
{"@context":"https://schema.org","@type":"Organization",
"name":"Din virksomhed","url":"https://dit-domaene.dk",
"sameAs":["https://www.linkedin.com/company/…"]}
</script>Sidetitlen er for kort eller for lang
<title> er 11 tegn lang. Cirka 30-60 tegn er fornuftigt: beskrivende nok til at navngive emnet, kort nok til ikke at blive skåret af.
Dette bør du gøre: Skriv en kortfattet titel, der indeholder emnet og evt. brandet.
Ikke præcis én H1-overskrift
Siden har 0 H1-overskrifter. Én entydig H1 fortæller mennesker og maskiner, hvad siden primært handler om.
Dette bør du gøre: Sæt præcis én H1, der navngiver sidens hovedemne. Alt derunder starter ved H2.
Meta-beskrivelse mangler eller passer ikke
Meta-beskrivelsen er 0 tegn lang. Det er ofte det første, AI-systemer og søgemaskiner læser som resumé af siden.
Dette bør du gøre: Skriv et selvstændigt resumé af siden i en eller to sætninger (cirka 120-200 tegn), ikke en række nøgleord.
Ingen llms.txt
Der ligger ingen fil på /llms.txt. llms.txt er en kort Markdown-oversigt over dit vigtigste indhold, som nogle AI-systemer bruger til at orientere sig.
Dette bør du gøre: Opret en /llms.txt: en H1 med navnet, et kort afsnit om tilbuddet og en linkliste til de centrale sider.
# Din virksomhed > Beskrivelse i én sætning. ## Vigtige sider - [Produkt](https://dit-domaene.dk/produkt): … - [Priser](https://dit-domaene.dk/priser): … - [Om os](https://dit-domaene.dk/om-os): …
Tillids- og entitetssignaler (E-E-A-T)
Intet forfatter- eller ophavssignal
Ingen forfatter kan genkendes (hverken metatag, rel=author eller JSON-LD Person). For »erfaring« og »ekspertise« i E-E-A-T-forstand tæller et navngivet, sporbart ophav.
Dette bør du gøre: Ved redaktionelt indhold: navngiv en forfatter og link til en forfatterside; marker vedkommende også som JSON-LD »Person«.
Ingen sameAs-forbindelser
I JSON-LD mangler »sameAs«. Det lader AI-systemer klart knytte dit brand eller din person til kendte entiteter (Wikidata, LinkedIn, brancheregistre).
Dette bør du gøre: Tilføj et »sameAs« i Organization eller Person med URL'erne til dine officielle profiler og registerposter.
Intet link til juridisk info / om os / kontakt
På den tjekkede side kan der ikke genkendes noget link til juridisk info, en »Om os«-side eller kontakt. Sådanne sider er et stærkt tillidssignal og hjælper med entitetstilknytning.
Dette bør du gøre: Link juridisk info eller »Om os« og kontakt tydeligt, som regel i sidefoden på hver side.
Ingen synlig eller markeret dato
Ingen udgivelses- eller ændringsdato kan genkendes (hverken <time>, article:published_time eller datePublished i JSON-LD). Ved mange spørgsmål foretrækker AI-systemer aktuelle kilder.
Dette bør du gøre: Ved indhold med tidsmæssig relevans: vis en dato synligt og marker datePublished / dateModified i JSON-LD.
Teknisk grundlag
Ingen canonical-URL
Siden sætter ingen <link rel="canonical">. Uden canonical kan det forblive uklart, hvilken version der er den gældende, når der findes flere URL-varianter.
Dette bør du gøre: Sæt en selvrefererende <link rel="canonical"> med den foretrukne URL på hver side.
I orden (3)
- Sitemappet kan nås.
- Hurtig svartid fra serveren.
- Ingen noindex — siden må indekseres.
Næste skridt
- AI-søgebots er blokeret i robots.txt. Tjek for hver bot, om blokeringen er tilsigtet. Vil du kun fravælge AI-træning, så bloker træningsbotterne (GPTBot, ClaudeBot, Google-Extended) og tillad søgebotterne.
- Serveren blokerer bots, selvom robots.txt tillader dem. Sæt user-agents og/eller IP-intervaller for de ønskede AI-crawlere på en tilladelsesliste i din WAF / Cloudflare / firewall. Verificer dem via omvendt DNS, ikke kun via user-agent-strengen.
- Meget lidt tekst i HTML'en. Sørg for, at det egentlige indhold står fuldt ud i HTML'en og ikke i billeder, iframes eller blokke, der indlæses via JavaScript.
Ugentlig gen-scanning med e-mailadvarsel ved hver ændring. Under forberedelse — indtast din adresse.
Metode og grænser
Tjekket den 24.9.2026. citeglass henter nytimes.com og de tilhørende filer (robots.txt, llms.txt, sitemap.xml) via HTTP — én gang som normal browser, én gang pr. AI-crawler-user-agent. Der køres ikke JavaScript. Tid til første byte: 99 ms.
Hvad det ikke er: Ingen placerings- eller citatovervågning, ingen udtalelse om, hvorvidt en model faktisk nævner dig, og ingen kontrol af indhold, der indlæses via JavaScript. Et øjebliksbillede set fra én server-IP.