CCBot と Common Crawl

Common Crawl は自由に利用できるウェブアーカイブを構築し、それが数多くの言語モデルの学習データに取り込まれます。

CCBot が特別な理由

GPTBot と ClaudeBot だけをブロックしても、コンテンツは Common Crawl のデータセットを経由してモデルに取り込まれる可能性があります。学習を原則として拒否するなら CCBot も考慮する必要があります。

「User-agent: CCBot」に続けて「Disallow: /」。Common Crawl は次回のクロール時に robots.txt を尊重します。既存のアーカイブ項目は、データセットが再収集されるまで残ります。

Common Crawl は研究、検索プロジェクト、アーカイブにも使われます。ブロックはこれらすべての用途に影響し、商用の AI 学習だけではありません。

citeglass は robots.txt が CCBot を許可しているかブロックしているか、そしてそのルールがボット固有か「User-agent: *」ブロック経由でのみ効いているかを表示します。

citeglass は約 30 秒で、あなたのサイトが AI システムにとってどこが読み取れないかを示します — 無料、ログイン不要。

一般的な情報であり、法的助言ではありません。GEO は新しい分野です — 推奨事項は変わる可能性があります。