Forside › Kunnskapsbase › Temaer

Forby trening, tillat søk

De fleste tilbydere skiller trenings-crawleren fra søke-crawleren. Dermed kan du stå av modelltreningen og likevel opptre som sitert kilde.

Blokkér trenings-boter

Disallow for: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), pluss token'ene Google-Extended og Applebot-Extended. Valgfritt Meta-ExternalAgent hvis du også vil ut av Llama-treningen.

Tillat søke-boter

Allow for: OAI-SearchBot og ChatGPT-User (ChatGPT-søk), Claude-SearchBot og Claude-User (Claude), PerplexityBot og Perplexity-User (Perplexity), Googlebot (Google-søk og AI-oversikter).

Gråsoner

Ikke alle tilbydere skiller rent: Common Crawl kjenner ikke søk, Bytespider blander begge. Og et tekstutdrag kan havne i en AI-oversikt selv om du har forbudt trening — det følger søkeindekseringen.

Sjekk konfigurasjonen

citeglass viser per bot atskilt den gjeldende robots.txt-regelen og det ekte serversvaret — slik ser du med ett blikk om skillet «trening av, søk på» faktisk virker.

Sjekk ditt eget nettsted

citeglass viser på rundt 30 sekunder hvor nettstedet ditt er uleselig for KI-systemer — gratis og uten innlogging.

Les videre

• Utestenge alle AI-crawlere
• Tillate eller blokkere GPTBot
• Google-Extended og Googlebot

Generell informasjon, ikke juridisk rådgivning. GEO er et ungt felt — anbefalinger kan endre seg.