Il-bidu › Bażi ta' għarfien › seo.cat.crawler

ClaudeBot u l-crawlers ta' Anthropic

Anthropic tħaddem tliet crawlers għal Claude: wieħed għat-taħriġ, wieħed għat-tfittxija u wieħed għall-ġbir fuq talba tal-utent.

It-tliet bots

ClaudeBot jiġbor data ta' taħriġ. Claude-SearchBot jibni l-indiċi għat-tfittxija fil-web f'Claude. Claude-User iġib paġna meta utent jitlobha fil-konversazzjoni. Huwa biss ClaudeBot li jikkonċerna t-taħriġ tal-mudell.

Tirregola l-aċċess

Blokk robots.txt separat għal kull bot. Min jirrifjuta t-taħriġ imma jrid jiġi kkwotat fit-tweġibiet ta' Claude, jimblokka lil ClaudeBot b'"Disallow: /" u jkompli jippermetti lil Claude-SearchBot u Claude-User.

Żball komuni

Blokk wieħed "User-agent: Claude*" ma jaħdimx — robots.txt ma jafx wildcards fl-isem tal-user-agent ħlief "*" waħdu. Semmi kull bot individwalment.

Iċċekkja r-rispons tas-server

citeglass iġib il-paġna tiegħek bl-user-agents veri ta' ClaudeBot, Claude-SearchBot u Claude-User u jimmarka meta robots.txt jippermetti bot iżda s-server jirrifjutah.

Iċċekkja s-sit tiegħek stess

citeglass juri f'madwar 30 sekonda fejn is-sit tiegħek mhux leġġibbli għas-sistemi tal-IA — b'xejn u mingħajr login.

Kompli aqra

• Tippermetti jew timblokka GPTBot
• PerplexityBot u Perplexity-User
• Il-kontroll tar-robots tal-IA f'robots.txt

Informazzjoni ġenerali, mhux parir legali. GEO huwa qasam żagħżugħ — ir-rakkomandazzjonijiet jistgħu jinbidlu.