Viktige KI-roboter er blokkert i robots.txt

robots.txt-en din forbyr tilgang for 5 sentrale KI-roboter: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended. Disse systemene kan da ikke laste innholdet ditt eller bruke det som kilde.

Dette bør du gjøre: Sjekk per robot om blokkeringen er tilsiktet. For KI-synlighet bør minst GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot og Google-Extended være tillatt.

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

Serveren blokkerer roboter selv om robots.txt tillater dem

For 1 robot(er) fra Amazon (Alexa/Rufus) sier robots.txt «tillatt», men serveren svarer med en 403 eller en botbeskyttelsesside. Vanligvis en WAF-, brannmur- eller CDN-regel som stenger ute roboten forbi robots.txt.

Dette bør du gjøre: Legg brukeragentene og/eller IP-områdene til de ønskede KI-robotene på en tillatelsesliste i WAF-en / Cloudflare / brannmuren din. Verifiser dem via omvendt DNS, ikke bare via brukeragent-strengen.

Sidetittelen er for kort eller for lang

<title> er 66 tegn lang. Rundt 30–60 tegn er fornuftig: beskrivende nok til å navngi temaet, kort nok til ikke å bli kappet av.

Dette bør du gjøre: Skriv en kortfattet tittel som inneholder temaet og eventuelt merket.

Ingen llms.txt

På /llms.txt ligger ingen fil. llms.txt er en kort Markdown-oversikt over det viktigste innholdet ditt som noen KI-systemer bruker til orientering.

Dette bør du gjøre: Opprett en /llms.txt: en H1 med navnet, et kort avsnitt om tilbudet og en lenkeliste til de sentrale sidene.

# Firmaet ditt

> Beskrivelse i én setning.

## Viktige sider
- [Produkt](https://ditt-domene.no/produkt): …
- [Priser](https://ditt-domene.no/priser): …
- [Om oss](https://ditt-domene.no/om-oss): …

Ingen Organization-skjema

Det finnes JSON-LD, men ingen «Organization»-oppføring. KI-systemer plasserer da merket ditt dårligere som egen entitet og kobler det dårligere til eksterne kilder.

Dette bør du gjøre: Legg til et «Organization»-skjema med name, url, logo og sameAs (lenker til dine offisielle profiler).

Ingen FAQ- eller HowTo-merking

Spørsmål-svar- og steg-for-steg-innhold er vanskeligere for KI-systemer å gjenkjenne som direkte siterbart svar uten FAQPage- eller HowTo-merking.

Dette bør du gjøre: Der siden svarer på reelle spørsmål eller gir instruksjoner, merk den som FAQPage eller HowTo (ingen merking uten synlig tilsvarende innhold).

Ingen forfatter- eller opphavssignal

Ingen forfatter kan gjenkjennes (verken metatag, rel=author eller JSON-LD Person). For «erfaring» og «ekspertise» i E-E-A-T-forstand teller et navngitt, sporbart opphav.

Dette bør du gjøre: Ved redaksjonelt innhold: navngi en forfatter og lenk en forfatterside; merk vedkommende også som JSON-LD «Person».

Ingen synlig eller merket dato

Ingen publiserings- eller endringsdato kan gjenkjennes (verken <time>, article:published_time eller datePublished i JSON-LD). Ved mange spørsmål foretrekker KI-systemer aktuelle kilder.

Dette bør du gjøre: Ved innhold med tidsmessig relevans: vis en dato synlig og merk datePublished / dateModified i JSON-LD-en.