Главная › База знаний › seo.cat.crawler

ClaudeBot и сканеры Anthropic

Anthropic для Claude использует три сканера: один для обучения, один для поиска и один для получения по запросу пользователя.

Три бота

ClaudeBot собирает обучающие данные. Claude-SearchBot строит индекс для веб-поиска в Claude. Claude-User получает страницу, когда пользователь просит об этом в разговоре. Только ClaudeBot касается обучения модели.

Регулировать доступ

Для каждого бота собственный блок robots.txt. Кто отклоняет обучение, но хочет быть процитированным в ответах Claude, блокирует ClaudeBot правилом «Disallow: /» и далее разрешает Claude-SearchBot и Claude-User.

Частая ошибка

Один блок «User-agent: Claude*» не работает — robots.txt не знает подстановочных знаков в имени user-agent, кроме отдельного «*». Назовите каждого бота отдельно.

Проверить ответ сервера

citeglass получает вашу страницу с настоящими user-agent ClaudeBot, Claude-SearchBot и Claude-User и отмечает, когда robots.txt разрешает бота, но сервер его отклоняет.

Проверьте свой сайт

citeglass примерно за 30 секунд показывает, где ваш сайт нечитаем для ИИ-систем — бесплатно и без входа.

Читать дальше

Общая информация, не юридическая консультация. GEO — молодая область, рекомендации могут меняться.