Kontrollerad den 2026-09-24 · https://www.nytimes.com/
Det finns 2 kritiska blockeringar för AI-hittbarhet — åtgärda dem först.
AI-robotmatris
För varje robot: vad din robots.txt tillåter — och vad din server faktiskt returnerar till robotens user agent. Rader markerade i rött: robots tillåter det, men servern blockerar det (oftast en WAF- eller botskyddsregel).
| Robot | Operatör | robots.txt | Serversvar |
|---|---|---|---|
| GPTBot | OpenAI | blockerad | blockerad (403 / WAF) |
| OAI-SearchBot | OpenAI | blockerad | blockerad (403 / WAF) |
| ChatGPT-User | OpenAI | blockerad | blockerad (403 / WAF) |
| ClaudeBot | Anthropic | blockerad | blockerad (403 / WAF) |
| Claude-SearchBot | Anthropic | blockerad | blockerad (403 / WAF) |
| Claude-User | Anthropic | blockerad | blockerad (403 / WAF) |
| PerplexityBot | Perplexity | blockerad | blockerad (403 / WAF) |
| Perplexity-User | Perplexity | blockerad | blockerad (403 / WAF) |
| Google-Extended | Google (Gemini-Training) | blockerad | — |
| Googlebot | Google (KI-Übersichten) | tillåten | blockerad (403 / WAF) |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | blockerad | blockerad (403 / WAF) |
| Bytespider | ByteDance (Doubao) | blockerad | blockerad (403 / WAF) |
| Amazonbot | Amazon (Alexa/Rufus) | tillåten | blockerad (403 / WAF) |
| Applebot-Extended | Apple (Intelligence-Training) | blockerad | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | blockerad | blockerad (403 / WAF) |
Hur beräknas poängen?
| AI-sökbotar är blockerade i robots.txt | -32 |
| Servern blockerar robotar trots att robots.txt tillåter dem | -12 |
| Väldigt lite text i HTML:en | -10 |
| Inga strukturerade data (JSON-LD) | -8 |
| Sidtiteln är för kort eller för lång | -6 |
| Inte exakt en H1-rubrik | -5 |
| Meta description saknas eller passar inte | -5 |
| Ingen llms.txt | -5 |
| Ingen författar- eller upphovssignal | -4 |
| Inga sameAs-kopplingar | -3 |
| Ingen länk till juridisk info / om oss / kontakt | -3 |
| Inget synligt eller märkt datum | -3 |
| Ingen canonical-URL | -3 |
| Resultat | 1 / 100 |
Åtkomst för AI-robotar
AI-sökbotar är blockerade i robots.txt
Din robots.txt blockerar 6 botar som hämtar innehåll till svar i AI-assistenter och sökmotorer: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User. Så länge de är blockerade kan din webbplats inte visas där som källa.
Detta bör du göra: Kontrollera för varje bot om blockeringen är avsiktlig. Vill du bara välja bort AI-träning, blockera träningsbotarna (GPTBot, ClaudeBot, Google-Extended) och tillåt sökbotarna.
User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: /
Servern blockerar robotar trots att robots.txt tillåter dem
För 2 robot(ar) från Google (KI-Übersichten), Amazon (Alexa/Rufus) säger robots.txt ”tillåten”, men servern svarar med en 403 eller en botskyddssida. Oftast en WAF-, brandväggs- eller CDN-regel som stänger ute roboten förbi robots.txt.
Detta bör du göra: Lägg user agents och/eller IP-intervall för de önskade AI-robotarna på en tillåtelselista i din WAF / Cloudflare / brandvägg. Verifiera dem via omvänd DNS, inte bara via user agent-strängen.
AI-träning bortvald
Din robots.txt blockerar crawlers som samlar innehåll för att träna språkmodeller: GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended. Det hindrar inte citat — sök- och hämtbotar som OAI-SearchBot, PerplexityBot och Googlebot för AI-översikter är separata.
Detta bör du göra: Inget att göra om bortvalet är avsiktligt. Se bara till att sökbotarna fortsatt är tillåtna.
Innehåll utan JavaScript
Väldigt lite text i HTML:en
Den initiala HTML:en innehåller bara omkring 55 tecken synlig text. Det räcker knappt för att AI-system säkert ska förstå sidans ämne.
Detta bör du göra: Se till att det egentliga innehållet finns fullständigt i HTML:en och inte i bilder, iframes eller block som laddas via JavaScript.
Struktur och maskinförståelse
Inga strukturerade data (JSON-LD)
Sidan innehåller ingen JSON-LD. Strukturerade data hjälper AI-system att entydigt känna igen entiteter, författare, organisation, datum och sidtyp — utan dem måste allt gissas från brödtexten.
Detta bör du göra: Lägg till minst ett ”Organization”-schema och ett som passar sidtypen (Article, Product, FAQPage …) som JSON-LD i <head>.
<script type="application/ld+json">
{"@context":"https://schema.org","@type":"Organization",
"name":"Ditt företag","url":"https://din-domän.se",
"sameAs":["https://www.linkedin.com/company/…"]}
</script>Sidtiteln är för kort eller för lång
<title> är 11 tecken lång. Cirka 30–60 tecken är rimligt: beskrivande nog för att namnge ämnet, kort nog för att inte klippas av.
Detta bör du göra: Skriv en kortfattad titel som innehåller ämnet och ev. varumärket.
Inte exakt en H1-rubrik
Sidan har 0 H1-rubriker. En entydig H1 talar om för människor och maskiner vad sidan främst handlar om.
Detta bör du göra: Sätt exakt en H1 som namnger sidans huvudämne. Allt därunder börjar på H2.
Meta description saknas eller passar inte
Meta description är 0 tecken lång. Det är ofta det första AI-system och sökmotorer läser som sammanfattning av sidan.
Detta bör du göra: Skriv en fristående sammanfattning av sidan i en eller två meningar (cirka 120–200 tecken), inte en rad nyckelord.
Ingen llms.txt
Det finns ingen fil på /llms.txt. llms.txt är en kort Markdown-översikt över ditt viktigaste innehåll som vissa AI-system använder för att orientera sig.
Detta bör du göra: Skapa en /llms.txt: en H1 med namnet, ett kort stycke om erbjudandet och en länklista till de centrala sidorna.
# Ditt företag > Beskrivning i en mening. ## Viktiga sidor - [Produkt](https://din-domän.se/produkt): … - [Priser](https://din-domän.se/priser): … - [Om oss](https://din-domän.se/om-oss): …
Förtroende- och entitetssignaler (E-E-A-T)
Ingen författar- eller upphovssignal
Ingen författare går att känna igen (varken metatagg, rel=author eller JSON-LD Person). För ”erfarenhet” och ”expertis” i E-E-A-T-mening räknas ett namngivet, spårbart upphov.
Detta bör du göra: Vid redaktionellt innehåll: namnge en författare och länka en författarsida; märk personen även som JSON-LD ”Person”.
Inga sameAs-kopplingar
I JSON-LD saknas ”sameAs”. Med det kopplar AI-system tydligt ditt varumärke eller din person till kända entiteter (Wikidata, LinkedIn, branschkataloger).
Detta bör du göra: Lägg till ett ”sameAs” i Organization eller Person med URL:erna till dina officiella profiler och katalogposter.
Ingen länk till juridisk info / om oss / kontakt
På den kontrollerade sidan går det inte att känna igen någon länk till juridisk information, en ”Om oss”-sida eller kontakt. Sådana sidor är en stark förtroendesignal och hjälper till med entitetskoppling.
Detta bör du göra: Länka juridisk info eller ”Om oss” och kontakt tydligt, oftast i sidfoten på varje sida.
Inget synligt eller märkt datum
Inget publicerings- eller ändringsdatum går att känna igen (varken <time>, article:published_time eller datePublished i JSON-LD). Vid många frågor föredrar AI-system aktuella källor.
Detta bör du göra: Vid innehåll med tidsanknytning: visa ett datum synligt och märk datePublished / dateModified i JSON-LD.
Teknisk grund
Ingen canonical-URL
Sidan sätter ingen <link rel="canonical">. Utan canonical kan det förbli oklart vilken version som är den gällande när det finns flera URL-varianter.
Detta bör du göra: Sätt en självrefererande <link rel="canonical"> med den föredragna URL:en på varje sida.
I ordning (3)
- Sitemappen går att nå.
- Snabb svarstid från servern.
- Inget noindex — sidan får indexeras.
Nästa steg
- AI-sökbotar är blockerade i robots.txt. Kontrollera för varje bot om blockeringen är avsiktlig. Vill du bara välja bort AI-träning, blockera träningsbotarna (GPTBot, ClaudeBot, Google-Extended) och tillåt sökbotarna.
- Servern blockerar robotar trots att robots.txt tillåter dem. Lägg user agents och/eller IP-intervall för de önskade AI-robotarna på en tillåtelselista i din WAF / Cloudflare / brandvägg. Verifiera dem via omvänd DNS, inte bara via user agent-strängen.
- Väldigt lite text i HTML:en. Se till att det egentliga innehållet finns fullständigt i HTML:en och inte i bilder, iframes eller block som laddas via JavaScript.
Veckovis omskanning med e-postavisering vid varje ändring. Under förberedelse — ange din adress.
Metod och gränser
Kontrollerad den 2026-09-24. citeglass hämtar nytimes.com och tillhörande filer (robots.txt, llms.txt, sitemap.xml) via HTTP — en gång som vanlig webbläsare, en gång per AI-robots user agent. Ingen JavaScript körs. Tid till första byte: 99 ms.
Vad det inte är: Ingen positions- eller citatuppföljning, inget påstående om huruvida en modell faktiskt nämner dig, och ingen kontroll av innehåll som laddas via JavaScript. En ögonblicksbild sett från en server-IP.