すべての AI クローラーを締め出す

コンテンツを原則として AI システムから遠ざけたい場合、名前付きの各ボットごとにルールが必要です — ワイルドカードでは不十分で、多くのボットがそれを無視するか、独自のブロックを期待するためです。

ボットの一覧

少なくとも考慮すべきは：GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、PerplexityBot、Perplexity-User、Google-Extended、CCBot、Bytespider、Amazonbot、Applebot-Extended、Meta-ExternalAgent。ボットごとに「Disallow: /」を持つ独自のブロック。

robots.txt にできないこと

robots.txt は依頼であって強制ではありません。Bytespider や Perplexity のようなボットは、それを回避したとして批判されました。厳格なブロックには、ユーザーエージェントへの WAF またはファイアウォールのルールを、可能なら検証済みの IP 範囲にも追加します。

代償

完全ブロックは、あなたを出典リンク付きの AI 回答から外します — つまり成長しつつある情報検索の一部から。多くのサイトには、より的を絞った選択肢が理にかなっています：学習を禁止し、検索を許可する。

効果を確認

citeglass はこれらの各ユーザーエージェントでページを取得し、robots.txt によればどのボットがブロックされているか、サーバーが実際にブロックを適用しているかをマトリクスで表示します。

自分のサイトをチェック

citeglass は約 30 秒で、あなたのサイトが AI システムにとってどこが読み取れないかを示します — 無料、ログイン不要。

続きを読む

一般的な情報であり、法的助言ではありません。GEO は新しい分野です — 推奨事項は変わる可能性があります。