Etusivu › Tietopankki › Aiheet

Kaikkien tekoälyrobottien sulkeminen pois

Se, joka haluaa periaatteessa pitää sisällön poissa tekoälyjärjestelmistä, tarvitsee säännöt jokaiselle nimetylle botille — jokerimerkki ei riitä, koska monet botit jättävät sen huomiotta tai odottavat omia lohkoja.

Bottien lista

Huomioon on otettava vähintään: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. Kullekin botille oma lohko ”Disallow: /” -merkinnällä.

Mitä robots.txt ei voi

robots.txt on pyyntö, ei pakko. Botit kuten Bytespider tai Perplexity ovat saaneet kritiikkiä sen kiertämisestä. Kovia estoja varten lisäksi WAF- tai palomuurisäännöt user-agenteille ja, missä mahdollista, vahvistetuille IP-alueille.

Hinta

Täydellinen esto poistaa sinut tekoälyvastauksista lähdelinkin kanssa — siis kasvavasta osasta tiedonhakua. Monille sivuille kohdennetumpi vaihtoehto on järkevämpi: kiellä koulutus, salli haku.

Vaikutuksen tarkistus

citeglass hakee sivusi jokaisella näistä user-agenteista ja näyttää matriisissa, mikä botti on robots.txt:n mukaan estetty ja pakottaako palvelimesi eston tosiasiassa.

Tarkista oma sivustosi

citeglass näyttää noin 30 sekunnissa, missä sivustosi on tekoälyjärjestelmille lukukelvoton — ilmaiseksi ja ilman kirjautumista.

Lue lisää

• Kiellä koulutus, salli haku
• Ohjaa tekoälyrobotteja robots.txt:ssä
• CCBot ja Common Crawl

Yleistä tietoa, ei oikeudellista neuvontaa. GEO on nuori ala — suositukset voivat muuttua.