Αρχική › Βάση γνώσεων › seo.cat.crawler

CCBot και Common Crawl

Το Common Crawl δημιουργεί ένα ελεύθερα διαθέσιμο αρχείο ιστού που εντάσσεται στα δεδομένα εκπαίδευσης πολυάριθμων γλωσσικών μοντέλων.

Γιατί το CCBot είναι ιδιαίτερο

Αν αποκλείσετε μόνο το GPTBot και το ClaudeBot, το περιεχόμενό σας μπορεί παρ' όλα αυτά να φτάσει σε μοντέλα μέσω του συνόλου Common Crawl. Όποιος απορρίπτει την εκπαίδευση κατ' αρχήν, πρέπει να λάβει υπόψη και το CCBot.

Αποκλεισμός

«User-agent: CCBot» ακολουθούμενο από «Disallow: /». Το Common Crawl σέβεται το robots.txt στο επόμενο πέρασμα· οι υπάρχουσες εγγραφές αρχείου παραμένουν μέχρι να συλλεχθεί ξανά το σύνολο δεδομένων.

Στάθμιση

Το Common Crawl χρησιμοποιείται και για έρευνα, έργα αναζήτησης και αρχειοθέτηση. Ένας αποκλεισμός πλήττει όλους αυτούς τους σκοπούς, όχι μόνο την εμπορική εκπαίδευση AI.

Έλεγχος κανόνα

Το citeglass δείχνει αν το robots.txt σας επιτρέπει ή αποκλείει το CCBot και αν ο κανόνας είναι ειδικός για το bot ή ισχύει μόνο μέσω του μπλοκ «User-agent: *».

Ελέγξτε τον δικό σας ιστότοπο

Το citeglass δείχνει σε περίπου 30 δευτερόλεπτα πού ο ιστότοπός σας είναι μη αναγνώσιμος για τα συστήματα AI — δωρεάν και χωρίς σύνδεση.

Διαβάστε περισσότερα

• Επιτρέψτε ή αποκλείστε το GPTBot
• Αποκλεισμός όλων των AI crawlers
• Έλεγχος ρομπότ AI στο robots.txt

Γενική πληροφόρηση, όχι νομική συμβουλή. Το GEO είναι νέο πεδίο — οι συστάσεις μπορεί να αλλάξουν.