Αρχική › Βάση γνώσεων › Βασικά
Έλεγχος ρομπότ AI στο robots.txt
Κάθε μεγάλος πάροχος AI λειτουργεί δικά του ρομπότ με δικά τους ονόματα user agent. Μέσω του robots.txt αποφασίζετε ανά ρομπότ αν μπορεί να φορτώσει το περιεχόμενό σας.
Τα σημαντικότερα ρομπότ AI
OpenAI: GPTBot (εκπαίδευση), OAI-SearchBot (αναζήτηση ChatGPT), ChatGPT-User (ανάκτηση κατόπιν αιτήματος χρήστη). Anthropic: ClaudeBot, Claude-SearchBot, Claude-User. Perplexity: PerplexityBot, Perplexity-User. Google: Google-Extended (εκπαίδευση Gemini) — η πραγματική ανάκτηση για τις επισκοπήσεις AI γίνεται μέσω του κανονικού Googlebot. Επιπλέον Common Crawl (CCBot), Amazonbot, Bytespider, Applebot-Extended και Meta-ExternalAgent.
Στοχευμένη επιτροπή
Για μέγιστη ορατότητα AI δίνετε στα σχετικά ρομπότ ένα δικό τους μπλοκ με «Allow: /». Σημαντικό: ένα μπλοκ ειδικό για ρομπότ αντικαθιστά πλήρως το μπλοκ «User-agent: *» για αυτό το ρομπότ — επαναλάβετε εκεί τους απαραίτητους κανόνες disallow.
Στοχευμένος αποκλεισμός
Αν απορρίπτετε την εκπαίδευση αλλά θέλετε να παραμείνετε ορατοί στην αναζήτηση AI, μπορείτε να αποκλείσετε το GPTBot και το Google-Extended και να επιτρέψετε το OAI-SearchBot και το Googlebot. Είναι απόφαση περιεχομένου, όχι καθαρά τεχνική.
Γιατί το robots.txt συχνά δεν αρκεί
Πολλοί ιστότοποι επιτρέπουν τα ρομπότ στο robots.txt αλλά τα αποκλείουν σε επίπεδο διακομιστή: ένας κανόνας WAF, ένα «Bot Fight Mode» της Cloudflare ή ένα τείχος προστασίας απορρίπτει το ρομπότ με ένα 403. Το ρομπότ τηρεί το robots.txt και παρ' όλα αυτά δεν μπαίνει. Το citeglass κάνει αυτή την απόκλιση ορατή.
Επαλήθευση
Οι λίστες επιτρεπόμενων θα πρέπει να περιέχουν επαληθευμένα ρομπότ. Η OpenAI, η Anthropic, η Perplexity και η Google δημοσιεύουν τα εύρη IP των ρομπότ τους· επαληθεύστε επιπλέον μέσω αντίστροφου DNS αντί να βασίζεστε μόνο στη συμβολοσειρά user agent.
Ελέγξτε τον δικό σας ιστότοπο
Το citeglass δείχνει σε περίπου 30 δευτερόλεπτα πού ο ιστότοπός σας είναι μη αναγνώσιμος για τα συστήματα AI — δωρεάν και χωρίς σύνδεση.
Διαβάστε περισσότερα
Γενική πληροφόρηση, όχι νομική συμβουλή. Το GEO είναι νέο πεδίο — οι συστάσεις μπορεί να αλλάξουν.