Начало › База знания › seo.cat.crawler

Google-Extended и Googlebot

Google-Extended не е отделен обхождащ робот, а robots.txt токен, с който управлявате използването на съдържанието си за обучение на Gemini.

Два отделни лоста

Извличането за търсенето в Google и AI прегледите минава през нормалния Googlebot. Google-Extended решава само дали съдържанието ви може допълнително да се използва за обучение на генеративни модели на Google.

Изключване само на обучението

„User-agent: Google-Extended“, следвано от „Disallow: /“, ви премахва от обучението на Gemini, без да засяга видимостта в търсенето в Google или в AI прегледите — Googlebot остава разрешен.

Какво не постига това

Google-Extended не пречи текстов откъс от страницата ви да бъде цитиран в AI преглед — това следва нормалното индексиране за търсене. Който не иска да се появи там, трябва да ограничи страницата за Googlebot и така губи и класическото търсене.

Проверка на състоянието

citeglass чете вашия robots.txt и показва по бот — Googlebot и Google-Extended — валидното правило, включително въпроса дали важи чрез заместващ символ или отделен блок.

Проверете собствения си сайт

citeglass показва за около 30 секунди къде сайтът ви е нечетим за ИИ системите — безплатно и без вход.

Продължете четенето

Обща информация, не правен съвет. GEO е млада област — препоръките може да се променят.