字节跳动的 Bytespider
Bytespider 是字节跳动（TikTok、豆包）的爬虫，也是网络上最活跃的 AI 机器人之一。
口碑与行为
Bytespider 过去因抓取频率高、对 robots.txt 的遵守不一致而引人关注。对许多站点运营者来说，如果对中国市场没有兴趣，它就是屏蔽的候选对象。
屏蔽
“User-agent: Bytespider”后接“Disallow: /”。由于遵守情况没有保证，另建议在 user-agent 字符串上加一条 WAF 或防火墙规则。
何时放行
想在中文圈被发现——例如通过豆包——的人应放行 Bytespider，改用速率限制来控制服务器负载。
检查访问
citeglass 用 Bytespider 的 user-agent 抓取你的页面，并显示 robots.txt 规则与服务器响应是否一致。
检查你自己的网站
citeglass 约 30 秒内显示你的网站在哪里对 AI 系统不可读 — 免费且无需登录。
继续阅读
一般信息，不构成法律建议。GEO 是一个新兴领域 — 建议可能会变化。