Αρχική › Βάση γνώσεων › seo.cat.crawler

ClaudeBot και οι ανιχνευτές Anthropic

Η Anthropic λειτουργεί τρεις ανιχνευτές για το Claude: έναν για την εκπαίδευση, έναν για την αναζήτηση και έναν για ανάκτηση κατόπιν αιτήματος χρήστη.

Τα τρία bots

Το ClaudeBot συλλέγει δεδομένα εκπαίδευσης. Το Claude-SearchBot χτίζει το ευρετήριο για την αναζήτηση ιστού στο Claude. Το Claude-User ανακτά μια σελίδα όταν ο χρήστης το ζητά στη συνομιλία. Μόνο το ClaudeBot αφορά την εκπαίδευση του μοντέλου.

Ρυθμίστε την πρόσβαση

Ένα ξεχωριστό μπλοκ robots.txt ανά bot. Όποιος αρνείται την εκπαίδευση αλλά θέλει να παραπέμπεται στις απαντήσεις του Claude, αποκλείει το ClaudeBot με «Disallow: /» και συνεχίζει να επιτρέπει το Claude-SearchBot και το Claude-User.

Συχνό λάθος

Ένα μόνο μπλοκ «User-agent: Claude*» δεν λειτουργεί — το robots.txt δεν αναγνωρίζει μπαλαντέρ στο όνομα user-agent εκτός από το μεμονωμένο «*». Ονομάστε κάθε bot ξεχωριστά.

Ελέγξτε την απόκριση διακομιστή

Το citeglass ανακτά τη σελίδα σας με τους πραγματικούς user-agents των ClaudeBot, Claude-SearchBot και Claude-User και επισημαίνει όταν το robots.txt επιτρέπει ένα bot αλλά ο διακομιστής το απορρίπτει.

Ελέγξτε τον δικό σας ιστότοπο

Το citeglass δείχνει σε περίπου 30 δευτερόλεπτα πού ο ιστότοπός σας είναι μη αναγνώσιμος για τα συστήματα AI — δωρεάν και χωρίς σύνδεση.

Διαβάστε περισσότερα

Γενική πληροφόρηση, όχι νομική συμβουλή. Το GEO είναι νέο πεδίο — οι συστάσεις μπορεί να αλλάξουν.