Bytespider от ByteDance

Bytespider — краулер ByteDance (TikTok, Doubao) и один из самых активных ИИ-ботов в вебе.

Репутация и поведение

Bytespider в прошлом отличался высокой частотой сканирования и непоследовательным соблюдением robots.txt. Для многих операторов это кандидат на блокировку, если нет интереса к китайскому рынку.

Блокировка

«User-agent: Bytespider», за которым следует «Disallow: /». Поскольку соблюдение не гарантировано, дополнительно рекомендуется правило WAF или брандмауэра на строку user-agent.

Когда разрешать

Тот, кто хочет быть видимым в китайскоязычном пространстве — например, через Doubao — должен разрешить Bytespider и вместо этого ограничить нагрузку на сервер лимитами частоты.

Проверка доступа

citeglass запрашивает вашу страницу с user-agent Bytespider и показывает, совпадают ли правило robots.txt и ответ сервера.

Проверьте свой сайт

citeglass примерно за 30 секунд показывает, где ваш сайт нечитаем для ИИ-систем — бесплатно и без входа.

Читать дальше

Общая информация, не юридическая консультация. GEO — молодая область, рекомендации могут меняться.