Αρχική › Βάση γνώσεων › seo.cat.crawler

Επιτρέψτε ή αποκλείστε το GPTBot

Το GPTBot είναι ο ανιχνευτής με τον οποίο η OpenAI συλλέγει δημόσια διαθέσιμο περιεχόμενο για την εκπαίδευση μελλοντικών μοντέλων.

Για τι είναι υπεύθυνο το GPTBot

Το GPTBot φορτώνει σελίδες για δεδομένα εκπαίδευσης — όχι για την απάντηση σε συγκεκριμένη ερώτηση χρήστη στο ChatGPT. Για τη ζωντανή αναζήτηση στο ChatGPT υπεύθυνα είναι το OAI-SearchBot και το ChatGPT-User. Όποιος αποκλείει το GPTBot αλλά θέλει να παραμείνει ορατός στην αναζήτηση AI, πρέπει να συνεχίσει να επιτρέπει αυτά τα δύο.

Επιτρέψτε

Ένα ξεχωριστό μπλοκ δίνει στο GPTBot πλήρη πρόσβαση: «User-agent: GPTBot» ακολουθούμενο από «Allow: /». Σημαντικό: ένα μπλοκ ειδικό για bot αντικαθιστά πλήρως για το GPTBot το μπλοκ «User-agent: *» — επαναλάβετε εκεί τους απαραίτητους κανόνες Disallow.

Αποκλείστε

«User-agent: GPTBot» ακολουθούμενο από «Disallow: /» κρατά το GPTBot μακριά από όλο το domain. Η OpenAI σέβεται κατά κανόνα το robots.txt εντός 24 ωρών. Περιεχόμενο που έχει ήδη μπει στην εκπαίδευση δεν το ανακτά.

Ελέγξτε αν λειτουργεί

Το GPTBot τηρεί το robots.txt — αλλά και πάλι δεν περνά αν ένα WAF ή μια προστασία από bots απορρίπτει τον user-agent εκ των προτέρων με 403. Το citeglass ανακτά τη σελίδα σας με τον πραγματικό user-agent του GPTBot και δείχνει αν ο κανόνας robots.txt και η πραγματική απόκριση του διακομιστή συμφωνούν.

Ελέγξτε τον δικό σας ιστότοπο

Το citeglass δείχνει σε περίπου 30 δευτερόλεπτα πού ο ιστότοπός σας είναι μη αναγνώσιμος για τα συστήματα AI — δωρεάν και χωρίς σύνδεση.

Διαβάστε περισσότερα

• OAI-SearchBot και ChatGPT-User
• Έλεγχος ρομπότ AI στο robots.txt
• Απαγόρευση εκπαίδευσης, άδεια αναζήτησης

Γενική πληροφόρηση, όχι νομική συμβουλή. Το GEO είναι νέο πεδίο — οι συστάσεις μπορεί να αλλάξουν.