ホーム › ナレッジベース › seo.cat.crawler

ClaudeBot と Anthropic のクローラー

Anthropic は Claude 向けに3つのクローラーを運用しています：学習用、検索用、ユーザー要求時の取得用です。

3つのボット

ClaudeBot は学習データを収集します。Claude-SearchBot は Claude のウェブ検索のインデックスを構築します。Claude-User は、ユーザーが会話で求めたときにページを取得します。モデル学習に関わるのは ClaudeBot のみです。

アクセスを規定する

ボットごとに専用の robots.txt ブロック。学習を拒否しつつ Claude の回答で引用されたい場合は、ClaudeBot を「Disallow: /」でブロックし、Claude-SearchBot と Claude-User は引き続き許可します。

よくある誤り

単一のブロック「User-agent: Claude*」は機能しません — robots.txt は単独の「*」以外、ユーザーエージェント名のワイルドカードを認識しません。各ボットを個別に指定してください。

サーバー応答を確認する

citeglass は ClaudeBot、Claude-SearchBot、Claude-User の本物のユーザーエージェントでページを取得し、robots.txt がボットを許可しているのにサーバーが拒否している場合を示します。

自分のサイトをチェック

citeglass は約 30 秒で、あなたのサイトが AI システムにとってどこが読み取れないかを示します — 無料、ログイン不要。

続きを読む

• GPTBot を許可またはブロックする
• PerplexityBot と Perplexity-User
• robots.txt で AI クローラーを制御する

一般的な情報であり、法的助言ではありません。GEO は新しい分野です — 推奨事項は変わる可能性があります。