ホーム › ナレッジベース › トピック

学習を禁止し、検索を許可

ほとんどのプロバイダーは学習クローラーと検索クローラーを分けています。これによりモデル学習から抜けつつ、引用元として表示され続けられます。

学習ボットをブロック

Disallow 対象：GPTBot（OpenAI）、ClaudeBot（Anthropic）、CCBot（Common Crawl）、加えてトークン Google-Extended と Applebot-Extended。Llama の学習からも抜けたい場合は任意で Meta-ExternalAgent。

検索ボットを許可

Allow 対象：OAI-SearchBot と ChatGPT-User（ChatGPT 検索）、Claude-SearchBot と Claude-User（Claude）、PerplexityBot と Perplexity-User（Perplexity）、Googlebot（Google 検索と AI による概要）。

グレーゾーン

すべてのプロバイダーがきれいに分けているわけではありません：Common Crawl に検索はなく、Bytespider は両方を混ぜます。また、学習を禁止していても、テキストの抜粋が AI による概要に載ることがあります — それは検索インデックスに従います。

設定を確認

citeglass はボットごとに分けて、適用される robots.txt ルールと実際のサーバー応答を表示します — 「学習オフ、検索オン」の分離が実際に効いているか、ひと目で分かります。

自分のサイトをチェック

citeglass は約 30 秒で、あなたのサイトが AI システムにとってどこが読み取れないかを示します — 無料、ログイン不要。

続きを読む

• すべての AI クローラーを締め出す
• GPTBot を許可またはブロックする
• Google-Extended と Googlebot

一般的な情報であり、法的助言ではありません。GEO は新しい分野です — 推奨事項は変わる可能性があります。