Úvod › Znalostná báza › seo.cat.crawler

ClaudeBot a prehľadávače Anthropic

Anthropic prevádzkuje pre Claude tri prehľadávače: jeden na tréning, jeden na vyhľadávanie a jeden na načítanie na žiadosť používateľa.

Traja boti

ClaudeBot zhromažďuje tréningové dáta. Claude-SearchBot buduje index pre webové vyhľadávanie v Claude. Claude-User načíta stránku, keď si to používateľ v konverzácii vyžiada. Iba ClaudeBot sa týka tréningu modelu.

Riadiť prístup

Vlastný blok robots.txt pre každého bota. Kto odmieta tréning, ale chce byť citovaný v odpovediach Claude, blokuje ClaudeBot pomocou „Disallow: /“ a naďalej povoľuje Claude-SearchBot a Claude-User.

Častá chyba

Jediný blok „User-agent: Claude*“ nefunguje — robots.txt nepozná zástupné znaky v názve user-agenta okrem samostatného „*“. Uveďte každého bota jednotlivo.

Skontrolovať odpoveď servera

citeglass načíta vašu stránku so skutočnými user-agentmi ClaudeBotu, Claude-SearchBotu a Claude-Useru a označí, keď robots.txt bota povoľuje, ale server ho odmieta.

Skontrolujte vlastný web

citeglass ukáže za asi 30 sekúnd, kde je váš web pre AI systémy nečitateľný — zdarma a bez prihlásenia.

Čítať ďalej

• Povoliť alebo blokovať GPTBot
• PerplexityBot a Perplexity-User
• Riadenie AI robotov v robots.txt

Všeobecná informácia, nie právne poradenstvo. GEO je mladý odbor — odporúčania sa môžu meniť.