CCBot і Common Crawl

Common Crawl створює вільно доступний веб-архів, який потрапляє до навчальних даних численних мовних моделей.

Чим особливий CCBot

Якщо заблокувати лише GPTBot і ClaudeBot, ваш вміст усе одно може потрапити до моделей через набір даних Common Crawl. Той, хто принципово проти навчання, має враховувати й CCBot.

Блокування

«User-agent: CCBot», за яким іде «Disallow: /». Common Crawl враховує robots.txt під час наступного обходу; наявні записи архіву залишаються, доки набір даних не буде зібрано заново.

Зважування

Common Crawl використовують також для досліджень, пошукових проєктів і архівування. Блокування зачіпає всі ці цілі, а не лише комерційне навчання ШІ.

Перевірка правила

citeglass показує, чи дозволяє ваш robots.txt CCBot чи блокує його та чи є правило специфічним для бота, чи діє лише через блок «User-agent: *».

Перевірте власний сайт

citeglass приблизно за 30 секунд показує, де ваш сайт нечитабельний для ШІ-систем — безкоштовно й без входу.

Читати далі

Загальна інформація, не юридична консультація. GEO — молода галузь, рекомендації можуть змінюватися.