繁體中文
citeglass · AI 可見性檢查

首頁 › 知識庫 › seo.cat.crawler

允許或封鎖 GPTBot

GPTBot 是 OpenAI 用來收集公開可用內容以訓練未來模型的爬蟲。

GPTBot 負責什麼

GPTBot 載入頁面用於訓練資料——不是為了在 ChatGPT 中回答具體的使用者問題。ChatGPT 中的即時搜尋由 OAI-SearchBot 和 ChatGPT-User 負責。封鎖 GPTBot 但想在 AI 搜尋中保持可見的人,必須繼續允許這兩個。

允許

獨立的區塊給 GPTBot 完整存取權限:「User-agent: GPTBot」後跟「Allow: /」。重要:針對特定機器人的區塊對 GPTBot 完全取代「User-agent: *」區塊——在那裡重複必要的 Disallow 規則。

封鎖

「User-agent: GPTBot」後跟「Disallow: /」將 GPTBot 擋在整個網域之外。OpenAI 通常在 24 小時內遵守 robots.txt。已進入訓練的內容無法收回。

檢查是否生效

GPTBot 遵守 robots.txt——但如果 WAF 或機器人防護事先用 403 拒絕 user-agent,它仍然過不去。citeglass 用真實的 GPTBot user-agent 擷取你的頁面,並顯示 robots.txt 規則與實際伺服器回應是否一致。

檢查你自己的網站

citeglass 約 30 秒內顯示你的網站在哪裡對 AI 系統不可讀 — 免費且無需登入。

繼續閱讀

一般資訊,不構成法律建議。GEO 是一個新興領域 — 建議可能會變化。