Etusivu › Tietopankki › Perusteet

Ohjaa tekoälyrobotteja robots.txt:ssä

Jokainen suuri tekoälytoimittaja ylläpitää omia robottejaan omilla user agent -nimillä. robots.txt:n kautta päätät roboteittain, saako se ladata sisältösi.

Tärkeimmät tekoälyrobotit

OpenAI: GPTBot (koulutus), OAI-SearchBot (ChatGPT-haku), ChatGPT-User (nouto käyttäjän pyynnöstä). Anthropic: ClaudeBot, Claude-SearchBot, Claude-User. Perplexity: PerplexityBot, Perplexity-User. Google: Google-Extended (Gemini-koulutus) — varsinainen nouto tekoälykatsauksia varten tapahtuu tavallisella Googlebotilla. Lisäksi Common Crawl (CCBot), Amazonbot, Bytespider, Applebot-Extended ja Meta-ExternalAgent.

Salli kohdennetusti

Suurinta tekoälynäkyvyyttä varten annat olennaisille roboteille oman lohkon, jossa on ”Allow: /”. Tärkeää: robottikohtainen lohko korvaa kyseiselle robotille ”User-agent: *” -lohkon kokonaan — toista tarvittavat disallow-säännöt siellä.

Sulje pois kohdennetusti

Jos torjut koulutuksen mutta haluat pysyä näkyvänä tekoälyhaussa, voit estää GPTBotin ja Google-Extendedin ja sallia OAI-SearchBotin ja Googlebotin. Se on sisällöllinen päätös, ei puhtaasti tekninen.

Miksi robots.txt ei usein riitä

Monet sivustot sallivat robotit robots.txt:ssä mutta estävät ne palvelintasolla: WAF-sääntö, Cloudflaren ”Bot Fight Mode” tai palomuuri torjuu robotin 403:lla. Robotti noudattaa robots.txt:ää eikä silti pääse sisään. citeglass tekee tämän ristiriidan näkyväksi.

Varmenna

Sallittujen listojen tulisi sisältää varmennettuja robotteja. OpenAI, Anthropic, Perplexity ja Google julkaisevat robottiensa IP-alueet; tarkista lisäksi käänteisellä DNS:llä sen sijaan, että luottaisit pelkkään user agent -merkkijonoon.

Tarkista oma sivustosi

citeglass näyttää noin 30 sekunnissa, missä sivustosi on tekoälyjärjestelmille lukukelvoton — ilmaiseksi ja ilman kirjautumista.

Lue lisää

Yleistä tietoa, ei oikeudellista neuvontaa. GEO on nuori ala — suositukset voivat muuttua.