ホーム › ナレッジベース › seo.cat.crawler
ByteDance の Bytespider
Bytespider は ByteDance（TikTok、Doubao）のクローラーで、ウェブ上で最も活発な AI ボットの一つです。
評判と挙動
Bytespider は過去に高いクロール頻度と robots.txt の遵守の不安定さで注目されました。多くの運営者にとって、中国市場に関心がなければブロック候補です。
ブロック
「User-agent: Bytespider」に続けて「Disallow: /」。遵守が保証されていないため、user-agent 文字列に対する WAF またはファイアウォールのルールも併せて推奨されます。
許可する場合
中国語圏で — 例えば Doubao 経由で — 見つけられたい場合は Bytespider を許可し、代わりにレート制限でサーバー負荷を抑えるべきです。
アクセスの確認
citeglass は Bytespider の user-agent でページを取得し、robots.txt のルールとサーバーの応答が一致しているかを表示します。
自分のサイトをチェック
citeglass は約 30 秒で、あなたのサイトが AI システムにとってどこが読み取れないかを示します — 無料、ログイン不要。
続きを読む
一般的な情報であり、法的助言ではありません。GEO は新しい分野です — 推奨事項は変わる可能性があります。