OAI-SearchBot 和 ChatGPT-User
当 ChatGPT 在网络上搜索时，OAI-SearchBot 和 ChatGPT-User 获取页面——与训练爬虫 GPTBot 分开。
两个机器人，两个任务
OAI-SearchBot 为 ChatGPT 搜索构建搜索索引。当用户在问题中明确要求或分享链接时，ChatGPT-User 会打开页面。两者都为带来源链接的引用答案提供基础。
为什么应允许它们
想在 ChatGPT 中作为来源出现的人，必须给这两个机器人访问权限。仅针对 GPTBot 的阻止不影响搜索；针对“User-agent: *”的阻止也影响 OAI-SearchBot。
robots.txt 规则
为最大可见性：为“User-agent: OAI-SearchBot”和“User-agent: ChatGPT-User”各设一个块，均带“Allow: /”。用 Disallow 有针对性地排除敏感区域（登录、购物车、内部搜索）。
测试可获取性
citeglass 对 OAI-SearchBot 和 ChatGPT-User 分别检查 robots.txt 是否允许它们，以及你的服务器是否确实向它们提供内容——包括机器人防护尽管 robots.txt 允许仍阻止它们的情况。
检查你自己的网站
citeglass 约 30 秒内显示你的网站在哪里对 AI 系统不可读 — 免费且无需登录。
继续阅读
一般信息，不构成法律建议。GEO 是一个新兴领域 — 建议可能会变化。