拦截所有 AI 爬虫

想从原则上把内容挡在 AI 系统之外的人，需要为每个具名机器人制定规则——通配符不够，因为许多机器人会忽略它或期待自己的块。

机器人清单

至少要考虑：GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、PerplexityBot、Perplexity-User、Google-Extended、CCBot、Bytespider、Amazonbot、Applebot-Extended、Meta-ExternalAgent。每个机器人一个带“Disallow: /”的独立块。

robots.txt 做不到什么

robots.txt 是请求，不是强制。Bytespider 或 Perplexity 等机器人曾因绕过它而受到批评。要实现硬性拦截，还需在 user-agent 上加 WAF 或防火墙规则，并在可能时针对已验证的 IP 段。

代价

完全拦截会把你排除在带来源链接的 AI 回答之外——也就是排除在日益增长的一部分信息检索之外。对许多网站来说，更有针对性的方案更合理：禁止训练，允许搜索。

检查效果

citeglass 用这些 user-agent 分别抓取你的页面，并在矩阵中显示哪个机器人按 robots.txt 被拦截，以及你的服务器是否真的执行了拦截。

检查你自己的网站

citeglass 约 30 秒内显示你的网站在哪里对 AI 系统不可读 — 免费且无需登录。

继续阅读

一般信息，不构成法律建议。GEO 是一个新兴领域 — 建议可能会变化。