Ελέγχθηκε στις 4/9/2026 · https://www.nytimes.com/
Υπάρχουν 2 κρίσιμα εμπόδια για την ανευρεσιμότητα μέσω AI — διορθώστε τα πρώτα.
Πίνακας ρομπότ AI
Για κάθε ρομπότ: τι επιτρέπει το robots.txt σας — και τι επιστρέφει πραγματικά ο διακομιστής σας στον user agent του ρομπότ. Γραμμές με κόκκινη επισήμανση: το robots το επιτρέπει, αλλά ο διακομιστής το αποκλείει (συνήθως κανόνας WAF ή προστασίας από ρομπότ).
| Ρομπότ | Χειριστής | robots.txt | Απόκριση διακομιστή |
|---|---|---|---|
| GPTBot | OpenAI | αποκλεισμένο | αποκλεισμένο (403 / WAF) |
| OAI-SearchBot | OpenAI | αποκλεισμένο | αποκλεισμένο (403 / WAF) |
| ChatGPT-User | OpenAI | αποκλεισμένο | αποκλεισμένο (403 / WAF) |
| ClaudeBot | Anthropic | αποκλεισμένο | αποκλεισμένο (403 / WAF) |
| Claude-SearchBot | Anthropic | αποκλεισμένο | αποκλεισμένο (403 / WAF) |
| Claude-User | Anthropic | αποκλεισμένο | αποκλεισμένο (403 / WAF) |
| PerplexityBot | Perplexity | αποκλεισμένο | αποκλεισμένο (403 / WAF) |
| Perplexity-User | Perplexity | αποκλεισμένο | αποκλεισμένο (403 / WAF) |
| Google-Extended | Google (Gemini-Training) | αποκλεισμένο | — |
| Googlebot | Google (KI-Übersichten) | επιτρέπεται | 200 + περιεχόμενο |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | αποκλεισμένο | αποκλεισμένο (403 / WAF) |
| Bytespider | ByteDance (Doubao) | αποκλεισμένο | αποκλεισμένο (403 / WAF) |
| Amazonbot | Amazon (Alexa/Rufus) | επιτρέπεται | αποκλεισμένο (403 / WAF) |
| Applebot-Extended | Apple (Intelligence-Training) | αποκλεισμένο | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | αποκλεισμένο | αποκλεισμένο (403 / WAF) |
Πώς προκύπτει η βαθμολογία;
| Σημαντικά ρομπότ AI αποκλείονται στο robots.txt | -32 |
| Ο διακομιστής αποκλείει ρομπότ ενώ το robots.txt τα επιτρέπει | -6 |
| Ο τίτλος σελίδας πολύ σύντομος ή πολύ μακρύς | -6 |
| Χωρίς llms.txt | -5 |
| Χωρίς σχήμα Organization | -4 |
| Χωρίς σήμα συγγραφέα ή πατρότητας | -4 |
| Χωρίς ορατή ή σημασμένη ημερομηνία | -3 |
| Χωρίς σήμανση FAQ ή HowTo | -2 |
| Αποτέλεσμα | 38 / 100 |
Πρόσβαση για ρομπότ AI
Σημαντικά ρομπότ AI αποκλείονται στο robots.txt
Το robots.txt σας απαγορεύει την πρόσβαση σε 5 κεντρικά ρομπότ AI: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended. Αυτά τα συστήματα δεν μπορούν τότε να φορτώσουν το περιεχόμενό σας ούτε να το χρησιμοποιήσουν ως πηγή.
Αυτό θα πρέπει να κάνετε: Ελέγξτε ανά ρομπότ αν ο αποκλεισμός είναι σκόπιμος. Για ορατότητα AI θα πρέπει να επιτρέπονται τουλάχιστον τα GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot και Google-Extended.
User-agent: GPTBot Allow: / User-agent: PerplexityBot Allow: /
Ο διακομιστής αποκλείει ρομπότ ενώ το robots.txt τα επιτρέπει
Για 1 ρομπότ από Amazon (Alexa/Rufus), το robots.txt λέει «επιτρέπεται», αλλά ο διακομιστής απαντά με 403 ή με σελίδα προστασίας από ρομπότ. Συνήθως κανόνας WAF, τείχους προστασίας ή CDN που αποκλείει το ρομπότ παρακάμπτοντας το robots.txt.
Αυτό θα πρέπει να κάνετε: Προσθέστε τους user agents ή/και τα εύρη IP των επιθυμητών ρομπότ AI σε μια λίστα επιτρεπόμενων στο WAF / Cloudflare / τείχος προστασίας σας. Επαληθεύστε τους μέσω αντίστροφου DNS, όχι μόνο από τη συμβολοσειρά user agent.
Δομή και κατανόηση από μηχανή
Ο τίτλος σελίδας πολύ σύντομος ή πολύ μακρύς
Το <title> έχει μήκος 66 χαρακτήρες. Λογικό είναι περίπου 30–60 χαρακτήρες: αρκετά περιγραφικό για να ονομάσει το θέμα, αρκετά σύντομο για να μην κόβεται.
Αυτό θα πρέπει να κάνετε: Γράψτε έναν περιεκτικό τίτλο που περιέχει το θέμα και, αν χρειάζεται, τη μάρκα.
Χωρίς llms.txt
Στο /llms.txt δεν υπάρχει αρχείο. Το llms.txt είναι μια σύντομη επισκόπηση του βασικού σας περιεχομένου σε Markdown, την οποία ορισμένα συστήματα AI χρησιμοποιούν για προσανατολισμό.
Αυτό θα πρέπει να κάνετε: Δημιουργήστε ένα /llms.txt: μια H1 με το όνομα, μια σύντομη παράγραφο για την προσφορά και μια λίστα συνδέσμων προς τις κεντρικές σελίδες.
# Η εταιρεία σας > Περιγραφή σε μία πρόταση. ## Βασικές σελίδες - [Προϊόν](https://to-domain-sas.gr/proion): … - [Τιμές](https://to-domain-sas.gr/times): … - [Σχετικά](https://to-domain-sas.gr/schetika): …
Χωρίς σχήμα Organization
Υπάρχει JSON-LD, αλλά καμία καταχώρηση «Organization». Τα συστήματα AI τοποθετούν τότε χειρότερα τη μάρκα σας ως ξεχωριστή οντότητα και τη συνδέουν χειρότερα με εξωτερικές πηγές.
Αυτό θα πρέπει να κάνετε: Προσθέστε ένα σχήμα «Organization» με name, url, logo και sameAs (σύνδεσμοι προς τα επίσημα προφίλ σας).
Χωρίς σήμανση FAQ ή HowTo
Το περιεχόμενο τύπου ερώτηση-απάντηση και βήμα προς βήμα είναι δυσκολότερο για τα συστήματα AI να αναγνωριστεί ως άμεσα παραθέσιμη απάντηση χωρίς σήμανση FAQPage ή HowTo.
Αυτό θα πρέπει να κάνετε: Όπου η σελίδα απαντά σε πραγματικές ερωτήσεις ή δίνει οδηγίες, σημάνετέ την ως FAQPage ή HowTo (καμία σήμανση χωρίς ορατά αντίστοιχο περιεχόμενο).
Σήματα εμπιστοσύνης και οντότητας (E-E-A-T)
Χωρίς σήμα συγγραφέα ή πατρότητας
Δεν αναγνωρίζεται συγγραφέας (ούτε meta tag, ούτε rel=author, ούτε JSON-LD Person). Για «εμπειρία» και «τεχνογνωσία» με την έννοια E-E-A-T μετρά η ονομαζόμενη, ιχνηλατήσιμη πατρότητα.
Αυτό θα πρέπει να κάνετε: Σε συντακτικό περιεχόμενο ονομάστε έναν συγγραφέα με το όνομά του και συνδέστε μια σελίδα συγγραφέα· σημάνετέ τον και ως JSON-LD «Person».
Χωρίς ορατή ή σημασμένη ημερομηνία
Δεν αναγνωρίζεται ημερομηνία δημοσίευσης ή τροποποίησης (ούτε <time>, ούτε article:published_time, ούτε datePublished στο JSON-LD). Σε πολλές ερωτήσεις τα συστήματα AI προτιμούν επίκαιρες πηγές.
Αυτό θα πρέπει να κάνετε: Σε περιεχόμενο με χρονική αναφορά εμφανίστε μια ημερομηνία εμφανώς και σημάνετε datePublished / dateModified στο JSON-LD.
Εντάξει (7)
- Το κύριο περιεχόμενο βρίσκεται στο HTML χωρίς JavaScript.
- Υπάρχουν δομημένα δεδομένα (JSON-LD). — WebSite, NewsMediaOrganization
- Ακριβώς μία επικεφαλίδα H1.
- Έχει οριστεί canonical URL.
- Το sitemap είναι προσβάσιμο.
- Γρήγορος χρόνος απόκρισης διακομιστή.
- Χωρίς noindex — η σελίδα μπορεί να ευρετηριαστεί.
Επόμενα βήματα
- Σημαντικά ρομπότ AI αποκλείονται στο robots.txt. Ελέγξτε ανά ρομπότ αν ο αποκλεισμός είναι σκόπιμος. Για ορατότητα AI θα πρέπει να επιτρέπονται τουλάχιστον τα GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot και Google-Extended.
- Ο διακομιστής αποκλείει ρομπότ ενώ το robots.txt τα επιτρέπει. Προσθέστε τους user agents ή/και τα εύρη IP των επιθυμητών ρομπότ AI σε μια λίστα επιτρεπόμενων στο WAF / Cloudflare / τείχος προστασίας σας. Επαληθεύστε τους μέσω αντίστροφου DNS, όχι μόνο από τη συμβολοσειρά user agent.
- Ο τίτλος σελίδας πολύ σύντομος ή πολύ μακρύς. Γράψτε έναν περιεκτικό τίτλο που περιέχει το θέμα και, αν χρειάζεται, τη μάρκα.
Εβδομαδιαία επανασάρωση με ειδοποίηση email σε κάθε αλλαγή. Σε προετοιμασία — εισαγάγετε τη διεύθυνσή σας.
Μέθοδος και όρια
Ελέγχθηκε στις 4/9/2026. Το citeglass ανακτά το nytimes.com και τα σχετικά αρχεία (robots.txt, llms.txt, sitemap.xml) μέσω HTTP — μία φορά ως κανονικό πρόγραμμα περιήγησης, μία φορά ανά user agent ρομπότ AI. Δεν εκτελείται JavaScript. Χρόνος έως το πρώτο byte: 235 ms.
Τι δεν είναι αυτό: Καμία παρακολούθηση θέσεων ή παραπομπών, καμία δήλωση για το αν ένα μοντέλο σας αναφέρει πραγματικά, και κανένας έλεγχος περιεχομένου που φορτώνεται μέσω JavaScript. Ένα στιγμιότυπο από την οπτική ενός IP διακομιστή.