Главная › База знаний › seo.cat.crawler

Google-Extended и Googlebot

Google-Extended — это не собственный сканер, а токен robots.txt, которым вы управляете использованием своего контента для обучения Gemini.

Два отдельных рычага

Получение для поиска Google и ИИ-обзоров идёт через обычный Googlebot. Google-Extended решает только, можно ли ваш контент дополнительно использовать для обучения генеративных моделей Google.

Исключить только обучение

«User-agent: Google-Extended», за которым «Disallow: /», убирает вас из обучения Gemini, не затрагивая видимость в поиске Google или в ИИ-обзорах — Googlebot остаётся разрешённым.

Чего это не достигает

Google-Extended не препятствует цитированию текстового фрагмента вашей страницы в ИИ-обзоре — это следует обычной поисковой индексации. Кто не хочет там появляться, должен ограничить страницу для Googlebot и тем самым теряет и классический поиск.

Проверить статус

citeglass читает ваш robots.txt и показывает для каждого бота — Googlebot и Google-Extended — действующее правило, включая вопрос, действует ли оно через подстановочный знак или собственный блок.

Проверьте свой сайт

citeglass примерно за 30 секунд показывает, где ваш сайт нечитаем для ИИ-систем — бесплатно и без входа.

Читать дальше

Общая информация, не юридическая консультация. GEO — молодая область, рекомендации могут меняться.