禁止训练、允许搜索

大多数供应商将训练爬虫与搜索爬虫分开。这样你可以退出模型训练，同时仍作为被引用来源出现。

屏蔽训练机器人

对以下项 Disallow：GPTBot（OpenAI）、ClaudeBot（Anthropic）、CCBot（Common Crawl），加上令牌 Google-Extended 和 Applebot-Extended。如果你也想退出 Llama 训练，可选 Meta-ExternalAgent。

允许搜索机器人

对以下项 Allow：OAI-SearchBot 和 ChatGPT-User（ChatGPT 搜索）、Claude-SearchBot 和 Claude-User（Claude）、PerplexityBot 和 Perplexity-User（Perplexity）、Googlebot（Google 搜索和 AI 概览）。

灰色地带

并非每个供应商都干净地分开：Common Crawl 不知道搜索，Bytespider 把两者混在一起。而且即使你禁止了训练，一段文本也可能出现在 AI 概览中——那遵循搜索索引。

检查配置

citeglass 按机器人分别显示生效的 robots.txt 规则和真实的服务器响应——这样你一眼就能看出“训练关、搜索开”的划分是否真的生效。

检查你自己的网站

citeglass 约 30 秒内显示你的网站在哪里对 AI 系统不可读 — 免费且无需登录。

继续阅读

一般信息，不构成法律建议。GEO 是一个新兴领域 — 建议可能会变化。