允許或封鎖 GPTBot
GPTBot 是 OpenAI 用來收集公開可用內容以訓練未來模型的爬蟲。
GPTBot 負責什麼
GPTBot 載入頁面用於訓練資料——不是為了在 ChatGPT 中回答具體的使用者問題。ChatGPT 中的即時搜尋由 OAI-SearchBot 和 ChatGPT-User 負責。封鎖 GPTBot 但想在 AI 搜尋中保持可見的人,必須繼續允許這兩個。
允許
獨立的區塊給 GPTBot 完整存取權限:「User-agent: GPTBot」後跟「Allow: /」。重要:針對特定機器人的區塊對 GPTBot 完全取代「User-agent: *」區塊——在那裡重複必要的 Disallow 規則。
封鎖
「User-agent: GPTBot」後跟「Disallow: /」將 GPTBot 擋在整個網域之外。OpenAI 通常在 24 小時內遵守 robots.txt。已進入訓練的內容無法收回。
檢查是否生效
GPTBot 遵守 robots.txt——但如果 WAF 或機器人防護事先用 403 拒絕 user-agent,它仍然過不去。citeglass 用真實的 GPTBot user-agent 擷取你的頁面,並顯示 robots.txt 規則與實際伺服器回應是否一致。
檢查你自己的網站
citeglass 約 30 秒內顯示你的網站在哪裡對 AI 系統不可讀 — 免費且無需登入。
繼續閱讀
一般資訊,不構成法律建議。GEO 是一個新興領域 — 建議可能會變化。