禁止訓練、允許搜尋
大多數供應商將訓練爬蟲與搜尋爬蟲分開。這樣你可以退出模型訓練,同時仍作為被引用來源出現。
封鎖訓練機器人
對以下項 Disallow:GPTBot(OpenAI)、ClaudeBot(Anthropic)、CCBot(Common Crawl),加上權杖 Google-Extended 和 Applebot-Extended。如果你也想退出 Llama 訓練,可選 Meta-ExternalAgent。
允許搜尋機器人
對以下項 Allow:OAI-SearchBot 和 ChatGPT-User(ChatGPT 搜尋)、Claude-SearchBot 和 Claude-User(Claude)、PerplexityBot 和 Perplexity-User(Perplexity)、Googlebot(Google 搜尋和 AI 概覽)。
灰色地帶
並非每個供應商都乾淨地分開:Common Crawl 不知道搜尋,Bytespider 把兩者混在一起。而且即使你禁止了訓練,一段文字也可能出現在 AI 概覽中——那遵循搜尋索引。
檢查設定
citeglass 按機器人分別顯示生效的 robots.txt 規則和真實的伺服器回應——這樣你一眼就能看出「訓練關、搜尋開」的劃分是否真的生效。
檢查你自己的網站
citeglass 約 30 秒內顯示你的網站在哪裡對 AI 系統不可讀 — 免費且無需登入。
繼續閱讀
一般資訊,不構成法律建議。GEO 是一個新興領域 — 建議可能會變化。