CCBot 与 Common Crawl
Common Crawl 构建一个免费可用的网络存档，被纳入众多语言模型的训练数据。
CCBot 为何特殊
如果只屏蔽 GPTBot 和 ClaudeBot，你的内容仍可能通过 Common Crawl 数据集进入模型。原则上拒绝训练的人必须把 CCBot 也考虑进去。
屏蔽
“User-agent: CCBot”后接“Disallow: /”。Common Crawl 会在下一次抓取时遵守 robots.txt；现有存档条目会保留，直到数据集重新采集。
权衡
Common Crawl 也用于研究、搜索项目和归档。屏蔽会影响所有这些用途，而不仅是商业性 AI 训练。
检查规则
citeglass 会显示你的 robots.txt 是允许还是屏蔽 CCBot，以及该规则是针对特定机器人，还是仅通过“User-agent: *”块生效。
检查你自己的网站
citeglass 约 30 秒内显示你的网站在哪里对 AI 系统不可读 — 免费且无需登录。
继续阅读
一般信息，不构成法律建议。GEO 是一个新兴领域 — 建议可能会变化。