Головна › База знань › seo.cat.crawler

ClaudeBot і сканери Anthropic

Anthropic для Claude використовує три сканери: один для навчання, один для пошуку і один для отримання на запит користувача.

Три боти

ClaudeBot збирає навчальні дані. Claude-SearchBot будує індекс для вебпошуку в Claude. Claude-User отримує сторінку, коли користувач просить про це в розмові. Лише ClaudeBot стосується навчання моделі.

Регулювати доступ

Для кожного бота власний блок robots.txt. Хто відхиляє навчання, але хоче бути цитованим у відповідях Claude, блокує ClaudeBot правилом «Disallow: /» і далі дозволяє Claude-SearchBot і Claude-User.

Часта помилка

Один блок «User-agent: Claude*» не працює — robots.txt не знає підстановних знаків у назві user-agent, крім окремого «*». Назвіть кожного бота окремо.

Перевірити відповідь сервера

citeglass отримує вашу сторінку зі справжніми user-agent ClaudeBot, Claude-SearchBot і Claude-User і позначає, коли robots.txt дозволяє бота, але сервер його відхиляє.

Перевірте власний сайт

citeglass приблизно за 30 секунд показує, де ваш сайт нечитабельний для ШІ-систем — безкоштовно й без входу.

Читати далі

Загальна інформація, не юридична консультація. GEO — молода галузь, рекомендації можуть змінюватися.