攔截所有 AI 爬蟲

想從原則上把內容擋在 AI 系統之外的人，需要為每個具名機器人制定規則——萬用字元不夠，因為許多機器人會忽略它或期待自己的區塊。

機器人清單

至少要考慮：GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、PerplexityBot、Perplexity-User、Google-Extended、CCBot、Bytespider、Amazonbot、Applebot-Extended、Meta-ExternalAgent。每個機器人一個帶「Disallow: /」的獨立區塊。

robots.txt 做不到什麼

robots.txt 是請求，不是強制。Bytespider 或 Perplexity 等機器人曾因繞過它而受到批評。要實現硬性攔截，還需在 user-agent 上加 WAF 或防火牆規則，並在可能時針對已驗證的 IP 段。

代價

完全攔截會把你排除在帶來源連結的 AI 回答之外——也就是排除在日益增長的一部分資訊檢索之外。對許多網站來說，更有針對性的方案更合理：禁止訓練，允許搜尋。

檢查效果

citeglass 用這些 user-agent 分別抓取你的頁面，並在矩陣中顯示哪個機器人按 robots.txt 被攔截，以及你的伺服器是否真的執行了攔截。

檢查你自己的網站

citeglass 約 30 秒內顯示你的網站在哪裡對 AI 系統不可讀 — 免費且無需登入。

繼續閱讀

一般資訊，不構成法律建議。GEO 是一個新興領域 — 建議可能會變化。