检查于 2026/9/24 · https://www.heise.de/
没有硬性障碍,但 2 项会削弱 AI 可发现性。
AI 爬虫矩阵
对每个机器人:你的 robots.txt 允许什么 — 以及你的服务器实际向该机器人的用户代理返回什么。以红色标出的行:robots 允许,但服务器拦截(通常是 WAF 或防机器人规则)。
| 机器人 | 运营方 | robots.txt | 服务器响应 |
|---|---|---|---|
| GPTBot | OpenAI | 允许 | 200 + 内容 |
| OAI-SearchBot | OpenAI | 允许 | 200 + 内容 |
| ChatGPT-User | OpenAI | 允许 | 200 + 内容 |
| ClaudeBot | Anthropic | 允许 | 200 + 内容 |
| Claude-SearchBot | Anthropic | 允许 | 200 + 内容 |
| Claude-User | Anthropic | 允许 | 200 + 内容 |
| PerplexityBot | Perplexity | 允许 | 200 + 内容 |
| Perplexity-User | Perplexity | 允许 | 200 + 内容 |
| Google-Extended | Google (Gemini-Training) | 拦截 | — |
| Googlebot | Google (KI-Übersichten) | 允许 (通过 User-agent: *) | 200 + 内容 |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | 拦截 | 200 + 内容 |
| Bytespider | ByteDance (Doubao) | 拦截 | 200 + 内容 |
| Amazonbot | Amazon (Alexa/Rufus) | 拦截 | 200 + 内容 |
| Applebot-Extended | Apple (Intelligence-Training) | 拦截 | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | 拦截 | 200 + 内容 |
分数是如何得出的?
| 页面标题过短或过长 | -6 |
| 不是恰好一个 H1 标题 | -5 |
| 没有 llms.txt | -5 |
| 没有 Organization 架构 | -4 |
| 没有作者或署名信号 | -4 |
| 没有 sameAs 关联 | -3 |
| 没有 FAQ 或 HowTo 标记 | -2 |
| 结果 | 71 / 100 |
AI 爬虫的访问
已拒绝 AI 训练
你的 robots.txt 屏蔽了为训练语言模型收集内容的爬虫:Google-Extended, CCBot, Applebot-Extended。这不会妨碍被引用——OAI-SearchBot、PerplexityBot 以及用于 AI 概览的 Googlebot 等搜索和获取机器人是分开的。
你应当做的: 如果是有意拒绝,则无需操作。只需确保搜索机器人仍被允许。
结构与机器可理解性
页面标题过短或过长
<title> 长 67 个字符。大约 30–60 个字符较合理:足够描述以指明主题,足够简短以不被截断。
你应当做的: 写一个简洁的标题,包含主题以及在需要时包含品牌。
不是恰好一个 H1 标题
页面有 0 个 H1 标题。一个明确的 H1 告诉人和机器,页面主要是关于什么的。
你应当做的: 设置恰好一个 H1,指明页面的主要主题。其下的一切从 H2 开始。
没有 llms.txt
/llms.txt 处没有文件。llms.txt 是你核心内容的一份简短 Markdown 概览,一些 AI 系统用它来定位。
你应当做的: 创建 /llms.txt:一个含名称的 H1、一段关于产品的简短说明,以及指向核心页面的链接列表。
# 你的公司 > 一句话描述。 ## 重要页面 - [产品](https://你的域名.cn/product):… - [价格](https://你的域名.cn/pricing):… - [关于我们](https://你的域名.cn/about):…
没有 Organization 架构
存在 JSON-LD,但没有「Organization」条目。AI 系统于是较难把你的品牌定位为独立实体,也较难将其与外部来源关联。
你应当做的: 添加一个含 name、url、logo 和 sameAs(指向你官方资料页的链接)的「Organization」架构。
没有 FAQ 或 HowTo 标记
没有 FAQPage 或 HowTo 标记时,问答式和分步式内容对 AI 系统而言更难被识别为可直接引用的答案。
你应当做的: 在页面回答真实问题或给出操作说明的地方,将其标记为 FAQPage 或 HowTo(没有可见对应内容则不要加标记)。
信任与实体信号(E-E-A-T)
没有作者或署名信号
无法识别作者(既无 meta 标签,也无 rel=author,也无 JSON-LD Person)。在 E-E-A-T 意义上的「经验」和「专业」需要具名且可追溯的署名。
你应当做的: 对编辑类内容,具名标注作者并链接作者页面;同时将其标记为 JSON-LD「Person」。
没有 sameAs 关联
JSON-LD 中缺少「sameAs」。借助它,AI 系统能明确地把你的品牌或人物映射到已知实体(Wikidata、LinkedIn、行业目录)。
你应当做的: 在 Organization 或 Person 中添加「sameAs」,填入你官方资料页和目录条目的 URL。
正常(6)
- 主要内容在不含 JavaScript 的 HTML 中。
- 存在结构化数据(JSON-LD)。 — ItemList, Thing
- 已设置 canonical URL。
- 站点地图可访问。
- 服务器响应时间快。
- 没有 noindex — 页面可被索引。
下一步
- 页面标题过短或过长. 写一个简洁的标题,包含主题以及在需要时包含品牌。
- 不是恰好一个 H1 标题. 设置恰好一个 H1,指明页面的主要主题。其下的一切从 H2 开始。
- 没有 llms.txt. 创建 /llms.txt:一个含名称的 H1、一段关于产品的简短说明,以及指向核心页面的链接列表。
每次变更都带电子邮件提醒的每周重扫。筹备中 — 请输入你的地址。
方法与局限
检查于 2026/9/24。citeglass 通过 HTTP 抓取 heise.de 及其相关文件(robots.txt、llms.txt、sitemap.xml)— 一次作为普通浏览器,一次针对每个 AI 爬虫用户代理。不执行 JavaScript。 首字节时间:67 毫秒。
它不是什么: 不追踪排名或引用,不就模型是否真的点名你作出任何声明,也不检查通过 JavaScript 加载的内容。这是从单个服务器 IP 视角的一次快照。