Головна › База знань › seo.cat.crawler

Applebot-Extended

Applebot-Extended, як і Google-Extended, — це токен robots.txt, а не окремий краулер: він керує лише використанням вмісту Apple для навчання.

Applebot і Applebot-Extended

Звичайний Applebot постачає дані для Siri, Spotlight і пропозицій Safari — він потрібен для видимості в пошуку Apple. Applebot-Extended стосується виключно навчання генеративних моделей Apple.

Виключити лише навчання

«User-agent: Applebot-Extended», за яким іде «Disallow: /», виводить вас із навчання Apple Intelligence, тоді як Applebot може й далі індексувати.

Типова поведінка

Без правила Apple виходить із наявності дозволу на використання для навчання. Хто цього не хоче, має активно задати правило Disallow.

Перевірка правила

citeglass показує для кожного бота — Applebot і Applebot-Extended — чинне правило robots.txt і чи є воно специфічним для бота, чи діє через символ підстановки.

Перевірте власний сайт

citeglass приблизно за 30 секунд показує, де ваш сайт нечитабельний для ШІ-систем — безкоштовно й без входу.

Читати далі

Загальна інформація, не юридична консультація. GEO — молода галузь, рекомендації можуть змінюватися.