重要的 AI 爬虫在 robots.txt 中被拦截

你的 robots.txt 禁止 5 个核心 AI 爬虫访问：GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended。这些系统于是无法加载你的内容，也无法将其作为来源使用。

你应当做的： 逐个机器人检查拦截是否有意为之。为了 AI 可见性，至少应允许 GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot 和 Google-Extended。

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

尽管 robots.txt 允许，服务器仍拦截机器人

对来自 Amazon (Alexa/Rufus) 的 1 个机器人，robots.txt 说「允许」，但服务器以 403 或防机器人页面响应。通常是 WAF、防火墙或 CDN 规则绕过 robots.txt 将爬虫挡在外面。

你应当做的： 把所需 AI 爬虫的用户代理和/或 IP 段加入你的 WAF / Cloudflare / 防火墙的允许列表。通过反向 DNS 验证，而不仅依据用户代理字符串。

页面标题过短或过长

<title> 长 66 个字符。大约 30–60 个字符较合理：足够描述以指明主题，足够简短以不被截断。

你应当做的： 写一个简洁的标题，包含主题以及在需要时包含品牌。

没有 llms.txt

/llms.txt 处没有文件。llms.txt 是你核心内容的一份简短 Markdown 概览，一些 AI 系统用它来定位。

你应当做的： 创建 /llms.txt：一个含名称的 H1、一段关于产品的简短说明，以及指向核心页面的链接列表。

# 你的公司

> 一句话描述。

## 重要页面
- [产品](https://你的域名.cn/product)：…
- [价格](https://你的域名.cn/pricing)：…
- [关于我们](https://你的域名.cn/about)：…

没有 Organization 架构

存在 JSON-LD，但没有「Organization」条目。AI 系统于是较难把你的品牌定位为独立实体，也较难将其与外部来源关联。

你应当做的： 添加一个含 name、url、logo 和 sameAs（指向你官方资料页的链接）的「Organization」架构。

没有 FAQ 或 HowTo 标记

没有 FAQPage 或 HowTo 标记时，问答式和分步式内容对 AI 系统而言更难被识别为可直接引用的答案。

你应当做的： 在页面回答真实问题或给出操作说明的地方，将其标记为 FAQPage 或 HowTo（没有可见对应内容则不要加标记）。

没有作者或署名信号

无法识别作者（既无 meta 标签，也无 rel=author，也无 JSON-LD Person）。在 E-E-A-T 意义上的「经验」和「专业」需要具名且可追溯的署名。

你应当做的： 对编辑类内容，具名标注作者并链接作者页面；同时将其标记为 JSON-LD「Person」。

没有可见或已标记的日期

无法识别发布或修改日期（既无 <time>，也无 article:published_time，也无 JSON-LD 中的 datePublished）。对许多问题，AI 系统偏好较新的来源。

你应当做的： 对与时间相关的内容，醒目地显示日期，并在 JSON-LD 中标记 datePublished / dateModified。