Start › Kunskapsbank › Grunder

Styr AI-robotar i robots.txt

Varje stor AI-leverantör driver egna robotar med egna user agent-namn. Via robots.txt bestämmer du per robot om den får ladda ditt innehåll.

De viktigaste AI-robotarna

OpenAI: GPTBot (träning), OAI-SearchBot (ChatGPT-sökning), ChatGPT-User (hämtning på användarens begäran). Anthropic: ClaudeBot, Claude-SearchBot, Claude-User. Perplexity: PerplexityBot, Perplexity-User. Google: Google-Extended (Gemini-träning) — den faktiska hämtningen för AI-översikter sker via den vanliga Googlebot. Dessutom Common Crawl (CCBot), Amazonbot, Bytespider, Applebot-Extended och Meta-ExternalAgent.

Tillåt riktat

För maximal AI-synlighet ger du de relevanta robotarna ett eget block med ”Allow: /”. Viktigt: ett robotspecifikt block ersätter ”User-agent: *”-blocket helt för den roboten — upprepa nödvändiga disallow-regler där.

Uteslut riktat

Om du avböjer träning men vill förbli synlig i AI-sökning kan du blockera GPTBot och Google-Extended och tillåta OAI-SearchBot och Googlebot. Det är ett innehållsbeslut, inte rent tekniskt.

Varför robots.txt ofta inte räcker

Många webbplatser tillåter robotar i robots.txt men blockerar dem på servernivå: en WAF-regel, en Cloudflare ”Bot Fight Mode” eller en brandvägg avvisar roboten med en 403. Roboten följer robots.txt och kommer ändå inte in. citeglass gör den här avvikelsen synlig.

Verifiera

Tillåtelselistor bör innehålla verifierade robotar. OpenAI, Anthropic, Perplexity och Google publicerar IP-intervallen för sina robotar; kontrollera dessutom via omvänd DNS i stället för att bara lita på user agent-strängen.

Kontrollera din egen webbplats

citeglass visar på cirka 30 sekunder var din webbplats är oläsbar för AI-system — gratis och utan inloggning.

Läs vidare

Allmän information, inte juridisk rådgivning. GEO är ett ungt område — rekommendationer kan ändras.