Start › Kunskapsbank › Ämnen

Stäng ute alla AI-crawlare

Den som principiellt vill hålla innehåll utanför AI-system behöver regler för varje namngiven bot — ett jokertecken räcker inte, eftersom många botar ignorerar det eller förväntar sig egna block.

Listan över botar

Minst dessa måste beaktas: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. Per bot ett eget block med ”Disallow: /”.

Vad robots.txt inte kan

robots.txt är en begäran, inget tvång. Botar som Bytespider eller Perplexity har kritiserats för att kringgå den. För hårda blockeringar dessutom WAF- eller brandväggsregler på user-agents och, där det är möjligt, på verifierade IP-intervall.

Priset

En fullständig blockering tar bort dig från AI-svar med källänk — alltså från en växande del av informationssökningen. För många sidor är den mer riktade varianten rimligare: förbjud träning, tillåt sökning.

Kontrollera effekten

citeglass hämtar din sida med var och en av dessa user-agents och visar i en matris vilken bot som är blockerad enligt robots.txt och om din server faktiskt upprätthåller blockeringen.

Kontrollera din egen webbplats

citeglass visar på cirka 30 sekunder var din webbplats är oläsbar för AI-system — gratis och utan inloggning.

Läs vidare

Allmän information, inte juridisk rådgivning. GEO är ett ungt område — rekommendationer kan ändras.