Google-Extended 和 Googlebot
Google-Extended 不是单独的爬虫，而是一个 robots.txt 令牌，你用它控制内容用于 Gemini 训练的使用。
两个分开的杠杆
用于 Google 搜索和 AI 概览的获取通过普通的 Googlebot 进行。Google-Extended 只决定你的内容是否可以额外用于训练生成式 Google 模型。
只排除训练
“User-agent: Google-Extended”后跟“Disallow: /”将你从 Gemini 训练中移除，而不影响在 Google 搜索或 AI 概览中的可见性——Googlebot 仍被允许。
这不能实现什么
Google-Extended 不能阻止你页面的文本摘录在 AI 概览中被引用——那遵循普通的搜索索引。不想出现在那里的人，必须对 Googlebot 限制页面，从而也失去经典搜索。
检查状态
citeglass 读取你的 robots.txt，并逐个机器人——Googlebot 和 Google-Extended——显示有效规则，包括它是通过通配符还是通过单独的块生效的问题。
检查你自己的网站
citeglass 约 30 秒内显示你的网站在哪里对 AI 系统不可读 — 免费且无需登录。
继续阅读
一般信息，不构成法律建议。GEO 是一个新兴领域 — 建议可能会变化。