CCBot и Common Crawl

Common Crawl създава свободно достъпен уеб архив, който влиза в обучаващите данни на множество езикови модели.

Защо CCBot е особен

Ако блокирате само GPTBot и ClaudeBot, съдържанието ви пак може да попадне в модели чрез набора Common Crawl. Който отхвърля обучението принципно, трябва да вземе предвид и CCBot.

Блокиране

„User-agent: CCBot“ следвано от „Disallow: /“. Common Crawl зачита robots.txt при следващото обхождане; съществуващите архивни записи остават, докато наборът не бъде събран отново.

Претегляне

Common Crawl се използва и за изследвания, търсещи проекти и архивиране. Блокирането засяга всички тези цели, не само търговското обучение на ИИ.

Проверка на правилото

citeglass показва дали вашият robots.txt разрешава или блокира CCBot и дали правилото е специфично за бота, или действа само през блока „User-agent: *“.

Проверете собствения си сайт

citeglass показва за около 30 секунди къде сайтът ви е нечетим за ИИ системите — безплатно и без вход.

Продължете четенето

Обща информация, не правен съвет. GEO е млада област — препоръките може да се променят.