Forside › Vidensbase › Grundlag

Styr AI-crawlere i robots.txt

Hver stor AI-udbyder driver egne crawlere med egne user-agent-navne. Via robots.txt bestemmer du pr. bot, om den må indlæse dit indhold.

De vigtigste AI-crawlere

OpenAI: GPTBot (træning), OAI-SearchBot (ChatGPT-søgning), ChatGPT-User (hentning på brugerens anmodning). Anthropic: ClaudeBot, Claude-SearchBot, Claude-User. Perplexity: PerplexityBot, Perplexity-User. Google: Google-Extended (Gemini-træning) — den egentlige hentning til AI-oversigter sker via den normale Googlebot. Desuden Common Crawl (CCBot), Amazonbot, Bytespider, Applebot-Extended og Meta-ExternalAgent.

Tillad målrettet

For maksimal AI-synlighed giver du de relevante bots deres egen blok med »Allow: /«. Vigtigt: en botspecifik blok erstatter fuldstændigt »User-agent: *«-blokken for den bot — gentag de nødvendige disallow-regler dér.

Udeluk målrettet

Hvis du afviser træning, men vil forblive synlig i AI-søgning, kan du blokere GPTBot og Google-Extended og tillade OAI-SearchBot og Googlebot. Det er en indholdsmæssig beslutning, ikke rent teknisk.

Hvorfor robots.txt ofte ikke er nok

Mange sites tillader bots i robots.txt, men blokerer dem på serverniveau: en WAF-regel, en Cloudflare »Bot Fight Mode« eller en firewall afviser crawleren med en 403. Botten overholder robots.txt og kommer alligevel ikke ind. citeglass gør denne uoverensstemmelse synlig.

Verificer

Tilladelseslister bør indeholde verificerede bots. OpenAI, Anthropic, Perplexity og Google offentliggør IP-intervallerne for deres crawlere; tjek desuden via omvendt DNS i stedet for kun at stole på user-agent-strengen.

Tjek dit eget site

citeglass viser på cirka 30 sekunder, hvor dit website er ulæsbart for AI-systemer — gratis og uden login.

Læs videre

Generel information, ikke juridisk rådgivning. GEO er et ungt felt — anbefalinger kan ændre sig.