ホーム › ナレッジベース › seo.cat.crawler
Google-Extended と Googlebot
Google-Extended は独自のクローラーではなく、コンテンツの Gemini 学習への利用を制御する robots.txt トークンです。
2つの別々のレバー
Google 検索と AI による概要のための取得は通常の Googlebot を通じて行われます。Google-Extended は、コンテンツが加えて Google の生成モデルの学習に使われてよいかだけを決めます。
学習のみを除外する
「User-agent: Google-Extended」に続けて「Disallow: /」で、Google 検索や AI による概要での可視性に触れずに Gemini 学習から外れます — Googlebot は許可されたままです。
これが実現しないこと
Google-Extended は、ページのテキスト抜粋が AI による概要で引用されるのを防ぎません — それは通常の検索インデックス登録に従います。そこに表示されたくない場合は Googlebot に対してページを制限する必要があり、それにより従来の検索も失います。
状態を確認する
citeglass は robots.txt を読み取り、ボットごと — Googlebot と Google-Extended — に有効なルールを、ワイルドカード経由か専用ブロック経由かの問題も含めて表示します。
自分のサイトをチェック
citeglass は約 30 秒で、あなたのサイトが AI システムにとってどこが読み取れないかを示します — 無料、ログイン不要。
続きを読む
一般的な情報であり、法的助言ではありません。GEO は新しい分野です — 推奨事項は変わる可能性があります。