Start › Kennisbank › AI-crawlers in detail

Bytespider van ByteDance

Bytespider is de crawler van ByteDance (TikTok, Doubao) en een van de actiefste AI-bots op het web.

Reputatie en gedrag

Bytespider viel in het verleden op door een hoge crawlfrequentie en onregelmatige naleving van robots.txt. Voor veel beheerders is hij een kandidaat om te blokkeren als er geen belang is bij de Chinese markt.

Blokkeren

'User-agent: Bytespider' gevolgd door 'Disallow: /'. Omdat naleving niet gegarandeerd is, is een extra WAF- of firewallregel op de user-agentstring aan te raden.

Wanneer toestaan

Wie zichtbaarheid wil in de Chineestalige markt — bijvoorbeeld via Doubao — kan Bytespider beter toestaan en in plaats daarvan de serverbelasting beperken met rate limits.

Toegang controleren

citeglass roept je pagina op met de Bytespider-user agent en toont of de robots.txt-regel en het serverantwoord overeenkomen.

Controleer je eigen site

citeglass laat in ongeveer 30 seconden zien waar je website onleesbaar is voor AI-systemen — gratis en zonder account.

Verder lezen

• CCBot en Common Crawl
• Alle AI-crawlers weren
• GPTBot toestaan of blokkeren

Algemene informatie, geen juridisch advies. GEO is een jong vakgebied — aanbevelingen kunnen veranderen.