Bytespider של ByteDance

Bytespider הוא הסורק של ByteDance (TikTok, Doubao) ואחד מבוטי ה-AI הפעילים ביותר ברשת.

מוניטין והתנהגות

Bytespider בלט בעבר בתדירות סריקה גבוהה ובעמידה לא עקבית ב-robots.txt. עבור מפעילים רבים הוא מועמד לחסימה אם אין עניין בשוק הסיני.

"User-agent: Bytespider" ואחריו "Disallow: /". מכיוון שהעמידה אינה מובטחת, מומלץ בנוסף כלל WAF או חומת אש על מחרוזת ה-user-agent.

מי שרוצה להיות גלוי במרחב דובר הסינית — למשל דרך Doubao — כדאי שיאפשר את Bytespider ובמקום זאת יגביל את עומס השרת באמצעות מגבלות קצב.

citeglass מאחזר את הדף שלכם עם ה-user-agent של Bytespider ומראה אם כלל ה-robots.txt ותגובת השרת תואמים.

citeglass מראה תוך כ-30 שניות היכן האתר שלך אינו קריא למערכות בינה מלאכותית — בחינם וללא התחברות.

מידע כללי, לא ייעוץ משפטי. GEO הוא תחום צעיר — המלצות עשויות להשתנות.