Forside › Kunnskapsbase › Temaer

Utestenge alle AI-crawlere

Den som prinsipielt vil holde innhold ute av AI-systemer, trenger regler for hver navngitt bot — et jokertegn er ikke nok, fordi mange boter ignorerer det eller forventer egne blokker.

Listen over boter

Minst disse må tas med i betraktningen: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. Per bot en egen blokk med «Disallow: /».

Hva robots.txt ikke kan

robots.txt er en anmodning, ikke en tvang. Boter som Bytespider eller Perplexity har vært kritisert for å omgå den. For harde blokkeringer i tillegg WAF- eller brannmurregler på user-agentene og, der det er mulig, på verifiserte IP-områder.

Prisen

En full blokkering tar deg ut av AI-svar med kildelenke — altså ut av en voksende del av informasjonssøket. For mange sider er den mer målrettede varianten mer fornuftig: forby trening, tillat søk.

Sjekk effekten

citeglass henter siden din med hver av disse user-agentene og viser i en matrise hvilken bot som er blokkert ifølge robots.txt, og om serveren din faktisk håndhever blokkeringen.

Sjekk ditt eget nettsted

citeglass viser på rundt 30 sekunder hvor nettstedet ditt er uleselig for KI-systemer — gratis og uten innlogging.

Les videre

• Forby trening, tillat søk
• Styre KI-roboter i robots.txt
• CCBot og Common Crawl

Generell informasjon, ikke juridisk rådgivning. GEO er et ungt felt — anbefalinger kan endre seg.