Kontrollerad den 2026-09-04 · https://www.nytimes.com/
Det finns 2 kritiska blockeringar för AI-hittbarhet — åtgärda dem först.
AI-robotmatris
För varje robot: vad din robots.txt tillåter — och vad din server faktiskt returnerar till robotens user agent. Rader markerade i rött: robots tillåter det, men servern blockerar det (oftast en WAF- eller botskyddsregel).
| Robot | Operatör | robots.txt | Serversvar |
|---|---|---|---|
| GPTBot | OpenAI | blockerad | blockerad (403 / WAF) |
| OAI-SearchBot | OpenAI | blockerad | blockerad (403 / WAF) |
| ChatGPT-User | OpenAI | blockerad | blockerad (403 / WAF) |
| ClaudeBot | Anthropic | blockerad | blockerad (403 / WAF) |
| Claude-SearchBot | Anthropic | blockerad | blockerad (403 / WAF) |
| Claude-User | Anthropic | blockerad | blockerad (403 / WAF) |
| PerplexityBot | Perplexity | blockerad | blockerad (403 / WAF) |
| Perplexity-User | Perplexity | blockerad | blockerad (403 / WAF) |
| Google-Extended | Google (Gemini-Training) | blockerad | — |
| Googlebot | Google (KI-Übersichten) | tillåten | 200 + innehåll |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | blockerad | blockerad (403 / WAF) |
| Bytespider | ByteDance (Doubao) | blockerad | blockerad (403 / WAF) |
| Amazonbot | Amazon (Alexa/Rufus) | tillåten | blockerad (403 / WAF) |
| Applebot-Extended | Apple (Intelligence-Training) | blockerad | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | blockerad | blockerad (403 / WAF) |
Hur beräknas poängen?
| Viktiga AI-robotar är blockerade i robots.txt | -32 |
| Servern blockerar robotar trots att robots.txt tillåter dem | -6 |
| Sidtiteln är för kort eller för lång | -6 |
| Ingen llms.txt | -5 |
| Inget Organization-schema | -4 |
| Ingen författar- eller upphovssignal | -4 |
| Inget synligt eller märkt datum | -3 |
| Ingen FAQ- eller HowTo-markup | -2 |
| Resultat | 38 / 100 |
Åtkomst för AI-robotar
Viktiga AI-robotar är blockerade i robots.txt
Din robots.txt förbjuder åtkomst för 5 centrala AI-robotar: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended. Dessa system kan då inte ladda ditt innehåll eller använda det som källa.
Detta bör du göra: Kontrollera per robot om blockeringen är avsiktlig. För AI-synlighet bör åtminstone GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot och Google-Extended vara tillåtna.
User-agent: GPTBot Allow: / User-agent: PerplexityBot Allow: /
Servern blockerar robotar trots att robots.txt tillåter dem
För 1 robot(ar) från Amazon (Alexa/Rufus) säger robots.txt ”tillåten”, men servern svarar med en 403 eller en botskyddssida. Oftast en WAF-, brandväggs- eller CDN-regel som stänger ute roboten förbi robots.txt.
Detta bör du göra: Lägg user agents och/eller IP-intervall för de önskade AI-robotarna på en tillåtelselista i din WAF / Cloudflare / brandvägg. Verifiera dem via omvänd DNS, inte bara via user agent-strängen.
Struktur och maskinförståelse
Sidtiteln är för kort eller för lång
<title> är 66 tecken lång. Cirka 30–60 tecken är rimligt: beskrivande nog för att namnge ämnet, kort nog för att inte klippas av.
Detta bör du göra: Skriv en kortfattad titel som innehåller ämnet och ev. varumärket.
Ingen llms.txt
Det finns ingen fil på /llms.txt. llms.txt är en kort Markdown-översikt över ditt viktigaste innehåll som vissa AI-system använder för att orientera sig.
Detta bör du göra: Skapa en /llms.txt: en H1 med namnet, ett kort stycke om erbjudandet och en länklista till de centrala sidorna.
# Ditt företag > Beskrivning i en mening. ## Viktiga sidor - [Produkt](https://din-domän.se/produkt): … - [Priser](https://din-domän.se/priser): … - [Om oss](https://din-domän.se/om-oss): …
Inget Organization-schema
Det finns JSON-LD, men ingen ”Organization”-post. AI-system placerar då ditt varumärke sämre som egen entitet och kopplar det sämre till externa källor.
Detta bör du göra: Lägg till ett ”Organization”-schema med name, url, logo och sameAs (länkar till dina officiella profiler).
Ingen FAQ- eller HowTo-markup
Fråga-svar- och steg-för-steg-innehåll är svårare för AI-system att känna igen som direkt citerbart svar utan FAQPage- eller HowTo-markup.
Detta bör du göra: Där sidan besvarar riktiga frågor eller ger instruktioner, märk den som FAQPage eller HowTo (ingen markup utan synligt motsvarande innehåll).
Förtroende- och entitetssignaler (E-E-A-T)
Ingen författar- eller upphovssignal
Ingen författare går att känna igen (varken metatagg, rel=author eller JSON-LD Person). För ”erfarenhet” och ”expertis” i E-E-A-T-mening räknas ett namngivet, spårbart upphov.
Detta bör du göra: Vid redaktionellt innehåll: namnge en författare och länka en författarsida; märk personen även som JSON-LD ”Person”.
Inget synligt eller märkt datum
Inget publicerings- eller ändringsdatum går att känna igen (varken <time>, article:published_time eller datePublished i JSON-LD). Vid många frågor föredrar AI-system aktuella källor.
Detta bör du göra: Vid innehåll med tidsanknytning: visa ett datum synligt och märk datePublished / dateModified i JSON-LD.
I ordning (7)
- Huvudinnehållet finns i HTML:en utan JavaScript.
- Det finns strukturerade data (JSON-LD). — WebSite, NewsMediaOrganization
- Exakt en H1-rubrik.
- En canonical-URL är angiven.
- Sitemappen går att nå.
- Snabb svarstid från servern.
- Inget noindex — sidan får indexeras.
Nästa steg
- Viktiga AI-robotar är blockerade i robots.txt. Kontrollera per robot om blockeringen är avsiktlig. För AI-synlighet bör åtminstone GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot och Google-Extended vara tillåtna.
- Servern blockerar robotar trots att robots.txt tillåter dem. Lägg user agents och/eller IP-intervall för de önskade AI-robotarna på en tillåtelselista i din WAF / Cloudflare / brandvägg. Verifiera dem via omvänd DNS, inte bara via user agent-strängen.
- Sidtiteln är för kort eller för lång. Skriv en kortfattad titel som innehåller ämnet och ev. varumärket.
Veckovis omskanning med e-postavisering vid varje ändring. Under förberedelse — ange din adress.
Metod och gränser
Kontrollerad den 2026-09-04. citeglass hämtar nytimes.com och tillhörande filer (robots.txt, llms.txt, sitemap.xml) via HTTP — en gång som vanlig webbläsare, en gång per AI-robots user agent. Ingen JavaScript körs. Tid till första byte: 235 ms.
Vad det inte är: Ingen positions- eller citatuppföljning, inget påstående om huruvida en modell faktiskt nämner dig, och ingen kontroll av innehåll som laddas via JavaScript. En ögonblicksbild sett från en server-IP.