Головна › База знань › seo.cat.crawler

Google-Extended і Googlebot

Google-Extended — це не власний сканер, а токен robots.txt, яким ви керуєте використанням свого вмісту для навчання Gemini.

Два окремі важелі

Отримання для пошуку Google і AI-оглядів відбувається через звичайний Googlebot. Google-Extended вирішує лише, чи можна ваш вміст додатково використовувати для навчання генеративних моделей Google.

Виключити лише навчання

«User-agent: Google-Extended», за яким «Disallow: /», прибирає вас із навчання Gemini, не зачіпаючи видимість у пошуку Google чи в AI-оглядах — Googlebot залишається дозволеним.

Чого це не досягає

Google-Extended не заважає цитувати текстовий фрагмент вашої сторінки в AI-огляді — це слідує звичайній пошуковій індексації. Хто не хоче там з'являтися, має обмежити сторінку для Googlebot і тим самим втрачає і класичний пошук.

Перевірити стан

citeglass читає ваш robots.txt і показує для кожного бота — Googlebot і Google-Extended — чинне правило, включно з питанням, чи діє воно через підстановний знак чи власний блок.

Перевірте власний сайт

citeglass приблизно за 30 секунд показує, де ваш сайт нечитабельний для ШІ-систем — безкоштовно й без входу.

Читати далі

Загальна інформація, не юридична консультація. GEO — молода галузь, рекомендації можуть змінюватися.