Etusivu › Tietopankki › seo.cat.crawler

ClaudeBot ja Anthropicin indeksointirobotit

Anthropic ylläpitää Claudelle kolmea indeksointirobottia: yhden koulutukseen, yhden hakuun ja yhden haulle käyttäjän pyynnöstä.

Kolme bottia

ClaudeBot kerää koulutusdataa. Claude-SearchBot rakentaa indeksin Clauden verkkohakua varten. Claude-User hakee sivun, kun käyttäjä pyytää sitä keskustelussa. Vain ClaudeBot koskee mallin koulutusta.

Pääsyn säätely

Oma robots.txt-lohko kutakin bottia kohti. Sen, joka torjuu koulutuksen mutta haluaa tulla lainatuksi Clauden vastauksissa, tulee estää ClaudeBot säännöllä ”Disallow: /” ja sallia edelleen Claude-SearchBot ja Claude-User.

Yleinen virhe

Yksi lohko ”User-agent: Claude*” ei toimi — robots.txt ei tunne jokerimerkkejä user-agent-nimessä yksinäistä ”*”-merkkiä lukuun ottamatta. Nimeä jokainen botti erikseen.

Tarkista palvelinvastaus

citeglass hakee sivusi ClaudeBotin, Claude-SearchBotin ja Claude-Userin aidoilla user-agenteilla ja merkitsee, jos robots.txt sallii botin mutta palvelin torjuu sen.

Tarkista oma sivustosi

citeglass näyttää noin 30 sekunnissa, missä sivustosi on tekoälyjärjestelmille lukukelvoton — ilmaiseksi ja ilman kirjautumista.

Lue lisää

Yleistä tietoa, ei oikeudellista neuvontaa. GEO on nuori ala — suositukset voivat muuttua.