Inicio › Recursos › Rastreadores de IA en detalle

Bytespider, de ByteDance

Bytespider es el rastreador de ByteDance (TikTok, Doubao) y uno de los bots de IA más activos de la web.

Reputación y comportamiento

Bytespider ha destacado en el pasado por su alta frecuencia de rastreo y un cumplimiento irregular de robots.txt. Para muchos operadores es candidato a ser bloqueado si no hay interés en el mercado chino.

Bloquearlo

«User-agent: Bytespider» seguido de «Disallow: /». Como el cumplimiento no está garantizado, conviene añadir una regla de WAF o firewall sobre la cadena del agente de usuario.

Cuándo permitirlo

Quien quiera visibilidad en el mercado de habla china, por ejemplo a través de Doubao, debería permitir Bytespider y, en su lugar, limitar la carga del servidor con límites de tasa.

Comprobar el acceso

citeglass solicita tu página con el agente de usuario de Bytespider y muestra si la regla de robots.txt y la respuesta del servidor coinciden.

Comprueba tu propio sitio

citeglass muestra en unos 30 segundos dónde tu web es ilegible para los sistemas de IA — gratis y sin registro.

Seguir leyendo

• CCBot y Common Crawl
• Bloquear todos los rastreadores de IA
• Permitir o bloquear GPTBot

Información general, no asesoramiento jurídico. El GEO es un campo joven — las recomendaciones pueden cambiar.