CCBot 與 Common Crawl
Common Crawl 建立一個免費可用的網路封存，被納入眾多語言模型的訓練資料。
CCBot 為何特殊
若只封鎖 GPTBot 和 ClaudeBot，你的內容仍可能透過 Common Crawl 資料集進入模型。原則上拒絕訓練的人必須把 CCBot 也考慮進去。
封鎖
「User-agent: CCBot」後接「Disallow: /」。Common Crawl 會在下一次抓取時遵守 robots.txt；現有封存項目會保留，直到資料集重新採集。
權衡
Common Crawl 也用於研究、搜尋專案和封存。封鎖會影響所有這些用途，而不僅是商業性 AI 訓練。
檢查規則
citeglass 會顯示你的 robots.txt 是允許還是封鎖 CCBot，以及該規則是針對特定機器人，還是僅透過「User-agent: *」區塊生效。
檢查你自己的網站
citeglass 約 30 秒內顯示你的網站在哪裡對 AI 系統不可讀 — 免費且無需登入。
繼續閱讀
一般資訊，不構成法律建議。GEO 是一個新興領域 — 建議可能會變化。