Sjekket 24.9.2026 · https://www.nytimes.com/
Det er 2 kritiske blokkeringer for KI-oppdagbarhet — rett dem først.
KI-robotmatrise
For hver robot: hva robots.txt tillater — og hva serveren din faktisk returnerer til robotens brukeragent. Rader markert i rødt: robots tillater det, men serveren blokkerer det (vanligvis en WAF- eller botbeskyttelsesregel).
| Robot | Operatør | robots.txt | Serversvar |
|---|---|---|---|
| GPTBot | OpenAI | blokkert | blokkert (403 / WAF) |
| OAI-SearchBot | OpenAI | blokkert | blokkert (403 / WAF) |
| ChatGPT-User | OpenAI | blokkert | blokkert (403 / WAF) |
| ClaudeBot | Anthropic | blokkert | blokkert (403 / WAF) |
| Claude-SearchBot | Anthropic | blokkert | blokkert (403 / WAF) |
| Claude-User | Anthropic | blokkert | blokkert (403 / WAF) |
| PerplexityBot | Perplexity | blokkert | blokkert (403 / WAF) |
| Perplexity-User | Perplexity | blokkert | blokkert (403 / WAF) |
| Google-Extended | Google (Gemini-Training) | blokkert | — |
| Googlebot | Google (KI-Übersichten) | tillatt | blokkert (403 / WAF) |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | blokkert | blokkert (403 / WAF) |
| Bytespider | ByteDance (Doubao) | blokkert | blokkert (403 / WAF) |
| Amazonbot | Amazon (Alexa/Rufus) | tillatt | blokkert (403 / WAF) |
| Applebot-Extended | Apple (Intelligence-Training) | blokkert | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | blokkert | blokkert (403 / WAF) |
Hvordan blir poengsummen til?
| KI-søkeroboter er blokkert i robots.txt | -32 |
| Serveren blokkerer roboter selv om robots.txt tillater dem | -12 |
| Svært lite tekst i HTML-en | -10 |
| Ingen strukturerte data (JSON-LD) | -8 |
| Sidetittelen er for kort eller for lang | -6 |
| Ikke nøyaktig én H1-overskrift | -5 |
| Meta-beskrivelsen mangler eller passer ikke | -5 |
| Ingen llms.txt | -5 |
| Ingen forfatter- eller opphavssignal | -4 |
| Ingen sameAs-koblinger | -3 |
| Ingen lenke til juridisk informasjon / om oss / kontakt | -3 |
| Ingen synlig eller merket dato | -3 |
| Ingen canonical-URL | -3 |
| Resultat | 1 / 100 |
Tilgang for KI-roboter
KI-søkeroboter er blokkert i robots.txt
Din robots.txt blokkerer 6 roboter som henter innhold til svar i KI-assistenter og søkemotorer: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User. Så lenge de er blokkert, kan nettstedet ditt ikke vises der som kilde.
Dette bør du gjøre: Sjekk for hver robot om blokkeringen er tilsiktet. Vil du bare reservere deg mot KI-trening, blokker treningsrobotene (GPTBot, ClaudeBot, Google-Extended) og tillat søkerobotene.
User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: /
Serveren blokkerer roboter selv om robots.txt tillater dem
For 2 robot(er) fra Google (KI-Übersichten), Amazon (Alexa/Rufus) sier robots.txt «tillatt», men serveren svarer med en 403 eller en botbeskyttelsesside. Vanligvis en WAF-, brannmur- eller CDN-regel som stenger ute roboten forbi robots.txt.
Dette bør du gjøre: Legg brukeragentene og/eller IP-områdene til de ønskede KI-robotene på en tillatelsesliste i WAF-en / Cloudflare / brannmuren din. Verifiser dem via omvendt DNS, ikke bare via brukeragent-strengen.
KI-trening reservert mot
Din robots.txt blokkerer crawlere som samler innhold for å trene språkmodeller: GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended. Det hindrer ikke sitater — søke- og henteroboter som OAI-SearchBot, PerplexityBot og Googlebot for KI-oversikter er atskilt.
Dette bør du gjøre: Ingenting å gjøre hvis reservasjonen er tilsiktet. Sørg bare for at søkerobotene fortsatt er tillatt.
Innhold uten JavaScript
Svært lite tekst i HTML-en
Den innledende HTML-en inneholder bare rundt 55 tegn synlig tekst. Det er knapt nok til at KI-systemer sikkert kan fatte sidens tema.
Dette bør du gjøre: Sørg for at det egentlige innholdet ligger fullstendig i HTML-en og ikke i bilder, iframes eller blokker som lastes via JavaScript.
Struktur og maskinforståelse
Ingen strukturerte data (JSON-LD)
Siden inneholder ingen JSON-LD. Strukturerte data hjelper KI-systemer med å gjenkjenne entiteter, forfatter, organisasjon, dato og sidetype entydig — uten dem må alt gjettes fra brødteksten.
Dette bør du gjøre: Legg til minst et «Organization»-skjema og et som passer sidetypen (Article, Product, FAQPage …) som JSON-LD i <head>.
<script type="application/ld+json">
{"@context":"https://schema.org","@type":"Organization",
"name":"Firmaet ditt","url":"https://ditt-domene.no",
"sameAs":["https://www.linkedin.com/company/…"]}
</script>Sidetittelen er for kort eller for lang
<title> er 11 tegn lang. Rundt 30–60 tegn er fornuftig: beskrivende nok til å navngi temaet, kort nok til ikke å bli kappet av.
Dette bør du gjøre: Skriv en kortfattet tittel som inneholder temaet og eventuelt merket.
Ikke nøyaktig én H1-overskrift
Siden har 0 H1-overskrifter. Én entydig H1 forteller mennesker og maskiner hva siden primært handler om.
Dette bør du gjøre: Sett nøyaktig én H1 som navngir sidens hovedtema. Alt under starter på H2.
Meta-beskrivelsen mangler eller passer ikke
Meta-beskrivelsen er 0 tegn lang. Det er ofte det første KI-systemer og søkemotorer leser som sammendrag av siden.
Dette bør du gjøre: Skriv et selvstendig sammendrag av siden i én eller to setninger (rundt 120–200 tegn), ikke en rekke nøkkelord.
Ingen llms.txt
På /llms.txt ligger ingen fil. llms.txt er en kort Markdown-oversikt over det viktigste innholdet ditt som noen KI-systemer bruker til orientering.
Dette bør du gjøre: Opprett en /llms.txt: en H1 med navnet, et kort avsnitt om tilbudet og en lenkeliste til de sentrale sidene.
# Firmaet ditt > Beskrivelse i én setning. ## Viktige sider - [Produkt](https://ditt-domene.no/produkt): … - [Priser](https://ditt-domene.no/priser): … - [Om oss](https://ditt-domene.no/om-oss): …
Tillits- og entitetssignaler (E-E-A-T)
Ingen forfatter- eller opphavssignal
Ingen forfatter kan gjenkjennes (verken metatag, rel=author eller JSON-LD Person). For «erfaring» og «ekspertise» i E-E-A-T-forstand teller et navngitt, sporbart opphav.
Dette bør du gjøre: Ved redaksjonelt innhold: navngi en forfatter og lenk en forfatterside; merk vedkommende også som JSON-LD «Person».
Ingen sameAs-koblinger
I JSON-LD-en mangler «sameAs». Med den kobler KI-systemer merket eller personen din tydelig til kjente entiteter (Wikidata, LinkedIn, bransjekataloger).
Dette bør du gjøre: Legg til en «sameAs» i Organization eller Person med URL-ene til dine offisielle profiler og katalogoppføringer.
Ingen lenke til juridisk informasjon / om oss / kontakt
På den sjekkede siden kan ingen lenke til juridisk informasjon, en «Om oss»-side eller kontakt gjenkjennes. Slike sider er et sterkt tillitssignal og hjelper med entitetskobling.
Dette bør du gjøre: Lenk juridisk informasjon eller «Om oss» og kontakt synlig, vanligvis i bunnteksten på hver side.
Ingen synlig eller merket dato
Ingen publiserings- eller endringsdato kan gjenkjennes (verken <time>, article:published_time eller datePublished i JSON-LD). Ved mange spørsmål foretrekker KI-systemer aktuelle kilder.
Dette bør du gjøre: Ved innhold med tidsmessig relevans: vis en dato synlig og merk datePublished / dateModified i JSON-LD-en.
Teknisk grunnlag
Ingen canonical-URL
Siden setter ingen <link rel="canonical">. Uten canonical kan det forbli uklart hvilken versjon som er den gjeldende når det finnes flere URL-varianter.
Dette bør du gjøre: Sett på hver side en selvrefererende <link rel="canonical"> med den foretrukne URL-en.
I orden (3)
- Sitemap er tilgjengelig.
- Rask svartid fra serveren.
- Ingen noindex — siden kan indekseres.
Neste steg
- KI-søkeroboter er blokkert i robots.txt. Sjekk for hver robot om blokkeringen er tilsiktet. Vil du bare reservere deg mot KI-trening, blokker treningsrobotene (GPTBot, ClaudeBot, Google-Extended) og tillat søkerobotene.
- Serveren blokkerer roboter selv om robots.txt tillater dem. Legg brukeragentene og/eller IP-områdene til de ønskede KI-robotene på en tillatelsesliste i WAF-en / Cloudflare / brannmuren din. Verifiser dem via omvendt DNS, ikke bare via brukeragent-strengen.
- Svært lite tekst i HTML-en. Sørg for at det egentlige innholdet ligger fullstendig i HTML-en og ikke i bilder, iframes eller blokker som lastes via JavaScript.
Ukentlig ny skanning med e-postvarsel ved hver endring. Under forberedelse — skriv inn adressen din.
Metode og grenser
Sjekket 24.9.2026. citeglass henter nytimes.com og de tilhørende filene (robots.txt, llms.txt, sitemap.xml) via HTTP — én gang som vanlig nettleser, én gang per KI-robot-brukeragent. Ingen JavaScript kjøres. Tid til første byte: 99 ms.
Hva dette ikke er: Ingen posisjons- eller sitatsporing, ingen uttalelse om hvorvidt en modell faktisk nevner deg, og ingen kontroll av innhold som lastes via JavaScript. Et øyeblikksbilde fra ett server-IP-perspektiv.