Начало › База знания › seo.cat.crawler

ClaudeBot и обхождащите роботи на Anthropic

Anthropic поддържа три обхождащи робота за Claude: един за обучение, един за търсене и един за извличане по потребителска заявка.

Трите бота

ClaudeBot събира обучителни данни. Claude-SearchBot изгражда индекса за уеб търсенето в Claude. Claude-User извлича страница, когато потребител го поиска в разговора. Само ClaudeBot засяга обучението на модела.

Регулиране на достъпа

По един отделен robots.txt блок на бот. Който отхвърля обучението, но иска да бъде цитиран в отговорите на Claude, блокира ClaudeBot с „Disallow: /“ и продължава да разрешава Claude-SearchBot и Claude-User.

Честа грешка

Един-единствен блок „User-agent: Claude*“ не работи — robots.txt не познава заместващи символи в името на user-agent освен самостоятелния „*“. Посочете всеки бот поотделно.

Проверка на отговора на сървъра

citeglass извлича страницата ви с истинските user-agent-и на ClaudeBot, Claude-SearchBot и Claude-User и маркира, когато robots.txt разрешава бот, но сървърът го отхвърля.

Проверете собствения си сайт

citeglass показва за около 30 секунди къде сайтът ви е нечетим за ИИ системите — безплатно и без вход.

Продължете четенето

Обща информация, не правен съвет. GEO е млада област — препоръките може да се променят.