Úvod › Znalostní báze › seo.cat.crawler

ClaudeBot a prohledávače Anthropic

Anthropic provozuje pro Claude tři prohledávače: jeden pro trénink, jeden pro vyhledávání a jeden pro načtení na žádost uživatele.

Tři boti

ClaudeBot shromažďuje tréninková data. Claude-SearchBot buduje index pro webové vyhledávání v Claude. Claude-User načte stránku, když si to uživatel v konverzaci vyžádá. Pouze ClaudeBot se týká tréninku modelu.

Řídit přístup

Vlastní blok robots.txt pro každého bota. Kdo odmítá trénink, ale chce být citován v odpovědích Claude, blokuje ClaudeBot pomocí „Disallow: /“ a nadále povoluje Claude-SearchBot a Claude-User.

Častá chyba

Jediný blok „User-agent: Claude*“ nefunguje — robots.txt nezná zástupné znaky v názvu user-agenta kromě samostatného „*“. Uveďte každého bota jednotlivě.

Zkontrolovat odpověď serveru

citeglass načte vaši stránku se skutečnými user-agenty ClaudeBotu, Claude-SearchBotu a Claude-Useru a označí, když robots.txt bota povoluje, ale server ho odmítá.

Zkontrolujte vlastní web

citeglass ukáže během asi 30 sekund, kde je váš web pro AI systémy nečitelný — zdarma a bez přihlášení.

Číst dál

• Povolit nebo blokovat GPTBot
• PerplexityBot a Perplexity-User
• Řízení AI robotů v robots.txt

Obecná informace, nikoli právní poradenství. GEO je mladý obor — doporučení se mohou měnit.