Il-bidu › Bażi ta' għarfien › seo.cat.crawler

CCBot u Common Crawl

Common Crawl jibni arkivju tal-web disponibbli b'mod liberu li jidħol fid-data ta' taħriġ ta' bosta mudelli tal-lingwa.

Għaliex CCBot huwa speċjali

Jekk timblokka biss lil GPTBot u ClaudeBot, il-kontenut tiegħek xorta jista' jidħol f'mudelli permezz tas-sett tad-data Common Crawl. Min jirrifjuta t-taħriġ fil-prinċipju, irid iqis ukoll lil CCBot.

Imblukkar

"User-agent: CCBot" segwit minn "Disallow: /". Common Crawl jirrispetta robots.txt fil-ġiro li jmiss tal-crawl; l-entrati eżistenti fl-arkivju jibqgħu sakemm is-sett tad-data jinġabar mill-ġdid.

Bilanċ

Common Crawl jintuża wkoll għar-riċerka, proġetti ta' tfittxija u arkivjar. Imblukkar jolqot dawn l-iskopijiet kollha, mhux biss it-taħriġ kummerċjali tal-IA.

Iċċekkja r-regola

citeglass juri jekk ir-robots.txt tiegħek jippermettix jew jimblokkax lil CCBot u jekk ir-regola hijiex speċifika għall-bot jew taħdimx biss permezz tal-blokk "User-agent: *".

Iċċekkja s-sit tiegħek stess

citeglass juri f'madwar 30 sekonda fejn is-sit tiegħek mhux leġġibbli għas-sistemi tal-IA — b'xejn u mingħajr login.

Kompli aqra

• Tippermetti jew timblokka GPTBot
• Timblokka l-crawlers tal-IA kollha
• Il-kontroll tar-robots tal-IA f'robots.txt

Informazzjoni ġenerali, mhux parir legali. GEO huwa qasam żagħżugħ — ir-rakkomandazzjonijiet jistgħu jinbidlu.