Acasă › Bază de cunoștințe › seo.cat.crawler

ClaudeBot și crawlerele Anthropic

Anthropic operează trei crawlere pentru Claude: unul pentru antrenare, unul pentru căutare și unul pentru încărcare la cererea utilizatorului.

Cei trei boți

ClaudeBot colectează date de antrenare. Claude-SearchBot construiește indexul pentru căutarea web în Claude. Claude-User încarcă o pagină când un utilizator o cere în conversație. Doar ClaudeBot privește antrenarea modelului.

Reglați accesul

Câte un bloc robots.txt propriu per bot. Cine refuză antrenarea, dar vrea să fie citat în răspunsurile Claude, blochează ClaudeBot cu „Disallow: /” și permite în continuare Claude-SearchBot și Claude-User.

Greșeală frecventă

Un singur bloc „User-agent: Claude*” nu funcționează — robots.txt nu cunoaște metacaractere în numele user-agentului în afară de „*” de sine stătător. Numiți fiecare bot individual.

Verificați răspunsul serverului

citeglass încarcă pagina dvs. cu user-agenții reali ai ClaudeBot, Claude-SearchBot și Claude-User și marchează când robots.txt permite un bot, dar serverul îl respinge.

Verifică-ți propriul site

citeglass arată în circa 30 de secunde unde site-ul tău este ilizibil pentru sistemele AI — gratuit și fără cont.

Citește mai departe

• Permiteți sau blocați GPTBot
• PerplexityBot și Perplexity-User
• Controlul roboților AI în robots.txt

Informație generală, nu consultanță juridică. GEO este un domeniu tânăr — recomandările se pot schimba.