ClaudeBot 和 Anthropic 爬虫
Anthropic 为 Claude 运行三个爬虫：一个用于训练，一个用于搜索，一个用于按用户请求获取。
三个机器人
ClaudeBot 收集训练数据。Claude-SearchBot 为 Claude 的网络搜索构建索引。当用户在对话中要求时，Claude-User 获取页面。只有 ClaudeBot 涉及模型训练。
调节访问
每个机器人一个单独的 robots.txt 块。拒绝训练但想在 Claude 回答中被引用的人，用“Disallow: /”阻止 ClaudeBot，并继续允许 Claude-SearchBot 和 Claude-User。
常见错误
单个块“User-agent: Claude*”不起作用——robots.txt 不识别 user-agent 名称中的通配符，除了单独的“*”。逐个命名每个机器人。
检查服务器响应
citeglass 用 ClaudeBot、Claude-SearchBot 和 Claude-User 的真实 user-agent 获取你的页面，并在 robots.txt 允许某机器人但服务器拒绝它时标记出来。
检查你自己的网站
citeglass 约 30 秒内显示你的网站在哪里对 AI 系统不可读 — 免费且无需登录。
继续阅读
一般信息，不构成法律建议。GEO 是一个新兴领域 — 建议可能会变化。