Forside › Kunnskapsbase › Grunnlag

Styre KI-roboter i robots.txt

Hver stor KI-leverandør driver egne roboter med egne brukeragent-navn. Via robots.txt bestemmer du per robot om den får laste innholdet ditt.

De viktigste KI-robotene

OpenAI: GPTBot (trening), OAI-SearchBot (ChatGPT-søk), ChatGPT-User (henting på brukerens forespørsel). Anthropic: ClaudeBot, Claude-SearchBot, Claude-User. Perplexity: PerplexityBot, Perplexity-User. Google: Google-Extended (Gemini-trening) — selve hentingen for KI-oversikter går via den vanlige Googlebot. I tillegg Common Crawl (CCBot), Amazonbot, Bytespider, Applebot-Extended og Meta-ExternalAgent.

Tillate målrettet

For maksimal KI-synlighet gir du de relevante robotene en egen blokk med «Allow: /». Viktig: en botspesifikk blokk erstatter «User-agent: *»-blokken fullstendig for den boten — gjenta de nødvendige disallow-reglene der.

Utelukke målrettet

Hvis du avviser trening, men vil forbli synlig i KI-søk, kan du blokkere GPTBot og Google-Extended og tillate OAI-SearchBot og Googlebot. Det er en innholdsmessig beslutning, ikke rent teknisk.

Hvorfor robots.txt ofte ikke er nok

Mange nettsteder tillater roboter i robots.txt, men blokkerer dem på servernivå: en WAF-regel, en Cloudflare «Bot Fight Mode» eller en brannmur avviser roboten med en 403. Roboten følger robots.txt og kommer likevel ikke inn. citeglass gjør dette avviket synlig.

Verifisere

Tillatelseslister bør inneholde verifiserte roboter. OpenAI, Anthropic, Perplexity og Google publiserer IP-områdene til robotene sine; sjekk i tillegg via omvendt DNS i stedet for bare å stole på brukeragent-strengen.

Sjekk ditt eget nettsted

citeglass viser på rundt 30 sekunder hvor nettstedet ditt er uleselig for KI-systemer — gratis og uten innlogging.

Les videre

Generell informasjon, ikke juridisk rådgivning. GEO er et ungt felt — anbefalinger kan endre seg.