字節跳動的 Bytespider
Bytespider 是字節跳動（TikTok、豆包）的爬蟲，也是網路上最活躍的 AI 機器人之一。
口碑與行為
Bytespider 過去因抓取頻率高、對 robots.txt 的遵守不一致而引人關注。對許多站點營運者來說，如果對中國市場沒有興趣，它就是封鎖的候選對象。
封鎖
「User-agent: Bytespider」後接「Disallow: /」。由於遵守情況沒有保證，另建議在 user-agent 字串上加一條 WAF 或防火牆規則。
何時放行
想在中文圈被發現——例如透過豆包——的人應放行 Bytespider，改用速率限制來控制伺服器負載。
檢查存取
citeglass 用 Bytespider 的 user-agent 抓取你的頁面，並顯示 robots.txt 規則與伺服器回應是否一致。
檢查你自己的網站
citeglass 約 30 秒內顯示你的網站在哪裡對 AI 系統不可讀 — 免費且無需登入。
繼續閱讀
一般資訊，不構成法律建議。GEO 是一個新興領域 — 建議可能會變化。