CCBot и Common Crawl

Common Crawl создаёт свободно доступный веб-архив, который попадает в обучающие данные множества языковых моделей.

Чем особен CCBot

Если заблокировать только GPTBot и ClaudeBot, ваш контент всё равно может попасть в модели через набор данных Common Crawl. Тот, кто в принципе против обучения, должен учитывать и CCBot.

Блокировка

«User-agent: CCBot», за которым следует «Disallow: /». Common Crawl учитывает robots.txt при следующем обходе; существующие записи архива сохраняются, пока набор данных не будет собран заново.

Взвешивание

Common Crawl используется также для исследований, поисковых проектов и архивирования. Блокировка затрагивает все эти цели, а не только коммерческое обучение ИИ.

Проверка правила

citeglass показывает, разрешает ли ваш robots.txt CCBot или блокирует его и является ли правило специфичным для бота или действует только через блок «User-agent: *».

Проверьте свой сайт

citeglass примерно за 30 секунд показывает, где ваш сайт нечитаем для ИИ-систем — бесплатно и без входа.

Читать дальше

Общая информация, не юридическая консультация. GEO — молодая область, рекомендации могут меняться.