Bytespider від ByteDance

Bytespider — краулер ByteDance (TikTok, Doubao) і один із найактивніших ШІ-ботів у вебі.

Репутація та поведінка

Bytespider у минулому вирізнявся високою частотою сканування та непослідовним дотриманням robots.txt. Для багатьох операторів це кандидат на блокування, якщо немає інтересу до китайського ринку.

Блокування

«User-agent: Bytespider», за яким іде «Disallow: /». Оскільки дотримання не гарантоване, додатково рекомендується правило WAF або брандмауера для рядка user-agent.

Коли дозволяти

Хто хоче бути видимим у китайськомовному просторі — наприклад, через Doubao — має дозволити Bytespider і натомість обмежити навантаження на сервер лімітами частоти.

Перевірка доступу

citeglass запитує вашу сторінку з user-agent Bytespider і показує, чи збігаються правило robots.txt і відповідь сервера.

Перевірте власний сайт

citeglass приблизно за 30 секунд показує, де ваш сайт нечитабельний для ШІ-систем — безкоштовно й без входу.

Читати далі

Загальна інформація, не юридична консультація. GEO — молода галузь, рекомендації можуть змінюватися.