允许或阻止 GPTBot
GPTBot 是 OpenAI 用来收集公开可用内容以训练未来模型的爬虫。
GPTBot 负责什么
GPTBot 加载页面用于训练数据——不是为了在 ChatGPT 中回答具体的用户问题。ChatGPT 中的实时搜索由 OAI-SearchBot 和 ChatGPT-User 负责。阻止 GPTBot 但想在 AI 搜索中保持可见的人，必须继续允许这两个。
允许
单独的块给 GPTBot 完全访问权限：“User-agent: GPTBot”后跟“Allow: /”。重要：针对特定机器人的块对 GPTBot 完全替代“User-agent: *”块——在那里重复必要的 Disallow 规则。
阻止
“User-agent: GPTBot”后跟“Disallow: /”将 GPTBot 挡在整个域之外。OpenAI 通常在 24 小时内遵守 robots.txt。已进入训练的内容无法收回。
检查是否生效
GPTBot 遵守 robots.txt——但如果 WAF 或机器人防护事先用 403 拒绝 user-agent，它仍然过不去。citeglass 用真实的 GPTBot user-agent 获取你的页面，并显示 robots.txt 规则与实际服务器响应是否一致。
检查你自己的网站
citeglass 约 30 秒内显示你的网站在哪里对 AI 系统不可读 — 免费且无需登录。
继续阅读
一般信息，不构成法律建议。GEO 是一个新兴领域 — 建议可能会变化。