Bytespider της ByteDance

Το Bytespider είναι ο crawler της ByteDance (TikTok, Doubao) και ένα από τα πιο ενεργά bots AI στον ιστό.

Φήμη και συμπεριφορά

Το Bytespider ξεχώρισε στο παρελθόν για την υψηλή συχνότητα σάρωσης και την ασυνεπή τήρηση του robots.txt. Για πολλούς διαχειριστές είναι υποψήφιο προς αποκλεισμό, αν δεν υπάρχει ενδιαφέρον για την κινεζική αγορά.

Αποκλεισμός

«User-agent: Bytespider» ακολουθούμενο από «Disallow: /». Επειδή η τήρηση δεν είναι εγγυημένη, συνιστάται επιπλέον κανόνας WAF ή τείχους προστασίας στη συμβολοσειρά user-agent.

Πότε να το επιτρέψετε

Όποιος θέλει να είναι ορατός στον κινεζόφωνο χώρο — π.χ. μέσω Doubao — θα πρέπει να επιτρέψει το Bytespider και αντ' αυτού να περιορίσει το φορτίο του διακομιστή μέσω ορίων ρυθμού.

Έλεγχος πρόσβασης

Το citeglass ανακτά τη σελίδα σας με το user-agent του Bytespider και δείχνει αν ο κανόνας robots.txt και η απάντηση του διακομιστή ταιριάζουν.

Ελέγξτε τον δικό σας ιστότοπο

Το citeglass δείχνει σε περίπου 30 δευτερόλεπτα πού ο ιστότοπός σας είναι μη αναγνώσιμος για τα συστήματα AI — δωρεάν και χωρίς σύνδεση.

Διαβάστε περισσότερα

Γενική πληροφόρηση, όχι νομική συμβουλή. Το GEO είναι νέο πεδίο — οι συστάσεις μπορεί να αλλάξουν.