ClaudeBot 和 Anthropic 爬蟲
Anthropic 為 Claude 執行三個爬蟲：一個用於訓練，一個用於搜尋，一個用於按使用者請求擷取。
三個機器人
ClaudeBot 收集訓練資料。Claude-SearchBot 為 Claude 的網路搜尋建立索引。當使用者在對話中要求時，Claude-User 擷取頁面。只有 ClaudeBot 涉及模型訓練。
調節存取
每個機器人一個獨立的 robots.txt 區塊。拒絕訓練但想在 Claude 回答中被引用的人，用「Disallow: /」封鎖 ClaudeBot，並繼續允許 Claude-SearchBot 和 Claude-User。
常見錯誤
單個區塊「User-agent: Claude*」不起作用——robots.txt 不識別 user-agent 名稱中的萬用字元，除了單獨的「*」。逐個命名每個機器人。
檢查伺服器回應
citeglass 用 ClaudeBot、Claude-SearchBot 和 Claude-User 的真實 user-agent 擷取你的頁面，並在 robots.txt 允許某機器人但伺服器拒絕它時標記出來。
檢查你自己的網站
citeglass 約 30 秒內顯示你的網站在哪裡對 AI 系統不可讀 — 免費且無需登入。
繼續閱讀
一般資訊，不構成法律建議。GEO 是一個新興領域 — 建議可能會變化。