Главная › База знаний › seo.cat.crawler

Applebot-Extended

Applebot-Extended, как и Google-Extended, — это токен robots.txt, а не отдельный краулер: он управляет только использованием контента Apple для обучения.

Applebot и Applebot-Extended

Обычный Applebot снабжает Siri, Spotlight и подсказки Safari — он нужен для видимости в поиске Apple. Applebot-Extended касается исключительно обучения генеративных моделей Apple.

Исключить только обучение

«User-agent: Applebot-Extended», за которым следует «Disallow: /», выводит вас из обучения Apple Intelligence, тогда как Applebot по-прежнему может индексировать.

Поведение по умолчанию

Без правила Apple исходит из наличия разрешения на использование для обучения. Тот, кто этого не хочет, должен активно задать правило Disallow.

Проверка правила

citeglass показывает по каждому боту — Applebot и Applebot-Extended — действующее правило robots.txt и является ли оно специфичным для бота или действует через подстановочный знак.

Проверьте свой сайт

citeglass примерно за 30 секунд показывает, где ваш сайт нечитаем для ИИ-систем — бесплатно и без входа.

Читать дальше

• Google-Extended и Googlebot
• Amazonbot
• Запретить обучение, разрешить поиск

Общая информация, не юридическая консультация. GEO — молодая область, рекомендации могут меняться.