Etusivu › Tietopankki › seo.cat.crawler

CCBot ja Common Crawl

Common Crawl rakentaa vapaasti saatavilla olevan verkkoarkiston, joka päätyy lukuisten kielimallien koulutusdataan.

Miksi CCBot on erityinen

Jos estät vain GPTBotin ja ClaudeBotin, sisältösi voi silti päätyä malleihin Common Crawl -aineiston kautta. Jos vastustat koulutusta periaatteessa, CCBot on otettava huomioon.

Estäminen

”User-agent: CCBot” ja sen perässä ”Disallow: /”. Common Crawl noudattaa robots.txt-tiedostoa seuraavalla indeksointikierroksella; olemassa olevat arkistomerkinnät säilyvät, kunnes aineisto kerätään uudelleen.

Punninta

Common Crawlia käytetään myös tutkimukseen, hakuprojekteihin ja arkistointiin. Esto koskee kaikkia näitä tarkoituksia, ei vain kaupallista tekoälykoulutusta.

Säännön tarkistus

citeglass näyttää, salliiko vai estääkö robots.txt-tiedostosi CCBotin ja onko sääntö botti­kohtainen vai vaikuttaako se vain ”User-agent: *” -lohkon kautta.

Tarkista oma sivustosi

citeglass näyttää noin 30 sekunnissa, missä sivustosi on tekoälyjärjestelmille lukukelvoton — ilmaiseksi ja ilman kirjautumista.

Lue lisää

• GPTBotin salliminen tai estäminen
• Kaikkien tekoälyrobottien sulkeminen pois
• Ohjaa tekoälyrobotteja robots.txt:ssä

Yleistä tietoa, ei oikeudellista neuvontaa. GEO on nuori ala — suositukset voivat muuttua.