Αρχική › Βάση γνώσεων › Θέματα

Αποκλεισμός όλων των AI crawlers

Όποιος θέλει κατ' αρχήν να κρατά περιεχόμενο έξω από συστήματα AI χρειάζεται κανόνες για κάθε ονομαστικό bot — ένα wildcard δεν φτάνει, γιατί πολλά bots το αγνοούν ή περιμένουν δικά τους blocks.

Η λίστα των bots

Πρέπει να ληφθούν υπόψη τουλάχιστον: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. Ανά bot ένα δικό του block με «Disallow: /».

Τι δεν μπορεί το robots.txt

Το robots.txt είναι παράκληση, όχι εξαναγκασμός. Bots όπως το Bytespider ή το Perplexity δέχθηκαν κριτική ότι το παρακάμπτουν. Για σκληρούς αποκλεισμούς επιπλέον κανόνες WAF ή τείχους προστασίας στα user-agents και, όπου είναι δυνατόν, σε επαληθευμένα εύρη IP.

Το τίμημα

Ένας πλήρης αποκλεισμός σε βγάζει από απαντήσεις AI με σύνδεσμο πηγής — δηλαδή από ένα αυξανόμενο μέρος της αναζήτησης πληροφοριών. Για πολλές σελίδες η πιο στοχευμένη παραλλαγή είναι πιο λογική: απαγόρευση εκπαίδευσης, άδεια αναζήτησης.

Έλεγχος αποτελέσματος

Το citeglass ανακτά τη σελίδα σου με καθένα από αυτά τα user-agents και δείχνει σε έναν πίνακα ποιο bot είναι αποκλεισμένο σύμφωνα με το robots.txt και αν ο διακομιστής σου επιβάλλει πραγματικά τον αποκλεισμό.

Ελέγξτε τον δικό σας ιστότοπο

Το citeglass δείχνει σε περίπου 30 δευτερόλεπτα πού ο ιστότοπός σας είναι μη αναγνώσιμος για τα συστήματα AI — δωρεάν και χωρίς σύνδεση.

Διαβάστε περισσότερα

• Απαγόρευση εκπαίδευσης, άδεια αναζήτησης
• Έλεγχος ρομπότ AI στο robots.txt
• CCBot και Common Crawl

Γενική πληροφόρηση, όχι νομική συμβουλή. Το GEO είναι νέο πεδίο — οι συστάσεις μπορεί να αλλάξουν.