Verificat pe 04.09.2026 · https://www.nytimes.com/
Există 2 blocaje critice pentru descoperirea prin AI — rezolvă-le mai întâi.
Matricea roboților AI
Pentru fiecare robot: ce permite robots.txt-ul tău — și ce returnează serverul tău de fapt agentului de utilizator al robotului. Rânduri marcate cu roșu: robots permite, dar serverul blochează (de obicei o regulă WAF sau de protecție anti-roboți).
| Robot | Operator | robots.txt | Răspunsul serverului |
|---|---|---|---|
| GPTBot | OpenAI | blocat | blocat (403 / WAF) |
| OAI-SearchBot | OpenAI | blocat | blocat (403 / WAF) |
| ChatGPT-User | OpenAI | blocat | blocat (403 / WAF) |
| ClaudeBot | Anthropic | blocat | blocat (403 / WAF) |
| Claude-SearchBot | Anthropic | blocat | blocat (403 / WAF) |
| Claude-User | Anthropic | blocat | blocat (403 / WAF) |
| PerplexityBot | Perplexity | blocat | blocat (403 / WAF) |
| Perplexity-User | Perplexity | blocat | blocat (403 / WAF) |
| Google-Extended | Google (Gemini-Training) | blocat | — |
| Googlebot | Google (KI-Übersichten) | permis | 200 + conținut |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | blocat | blocat (403 / WAF) |
| Bytespider | ByteDance (Doubao) | blocat | blocat (403 / WAF) |
| Amazonbot | Amazon (Alexa/Rufus) | permis | blocat (403 / WAF) |
| Applebot-Extended | Apple (Intelligence-Training) | blocat | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | blocat | blocat (403 / WAF) |
Cum se formează scorul?
| Roboți AI importanți sunt blocați în robots.txt | -32 |
| Serverul blochează roboți deși robots.txt îi permite | -6 |
| Titlul paginii prea scurt sau prea lung | -6 |
| Fără llms.txt | -5 |
| Fără schemă Organization | -4 |
| Fără semnal de autor sau de autorat | -4 |
| Fără dată vizibilă sau marcată | -3 |
| Fără marcaj FAQ sau HowTo | -2 |
| Rezultat | 38 / 100 |
Acces pentru roboții AI
Roboți AI importanți sunt blocați în robots.txt
robots.txt-ul tău interzice accesul pentru 5 roboți AI centrali: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended. Aceste sisteme nu îți pot încărca atunci conținutul și nici nu îl pot folosi ca sursă.
Iată ce ar trebui să faci: Verifică pentru fiecare robot dacă blocarea este intenționată. Pentru vizibilitatea AI ar trebui să fie permiși cel puțin GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot și Google-Extended.
User-agent: GPTBot Allow: / User-agent: PerplexityBot Allow: /
Serverul blochează roboți deși robots.txt îi permite
Pentru 1 robot(i) din Amazon (Alexa/Rufus), robots.txt spune „permis”, dar serverul răspunde cu 403 sau cu o pagină de protecție anti-roboți. De obicei o regulă WAF, de firewall sau de CDN care exclude robotul ocolind robots.txt.
Iată ce ar trebui să faci: Adaugă agenții de utilizator și/sau intervalele IP ale roboților AI doriți pe o listă de permise în WAF / Cloudflare / firewall. Verifică-i prin DNS invers, nu doar după șirul agentului de utilizator.
Structură și înțelegere de către mașină
Titlul paginii prea scurt sau prea lung
<title> are 66 caractere. Rezonabil este circa 30–60 de caractere: suficient de descriptiv pentru a numi tema, suficient de scurt pentru a nu fi tăiat.
Iată ce ar trebui să faci: Scrie un titlu concis care conține tema și, dacă e cazul, marca.
Fără llms.txt
La /llms.txt nu există niciun fișier. llms.txt este o scurtă prezentare în Markdown a conținutului tău cheie, pe care unele sisteme AI o folosesc pentru orientare.
Iată ce ar trebui să faci: Creează un /llms.txt: un H1 cu numele, un paragraf scurt despre ofertă și o listă de linkuri către paginile centrale.
# Firma ta > Descriere într-o propoziție. ## Pagini cheie - [Produs](https://domeniul-tau.ro/produs): … - [Prețuri](https://domeniul-tau.ro/preturi): … - [Despre noi](https://domeniul-tau.ro/despre-noi): …
Fără schemă Organization
Există JSON-LD, dar nicio intrare „Organization”. Sistemele AI îți plasează atunci mai slab marca drept entitate distinctă și o leagă mai slab de surse externe.
Iată ce ar trebui să faci: Adaugă o schemă „Organization” cu name, url, logo și sameAs (linkuri către profilurile tale oficiale).
Fără marcaj FAQ sau HowTo
Conținutul de tip întrebare-răspuns și pas cu pas este mai greu de recunoscut de către sistemele AI ca răspuns direct citabil fără marcaj FAQPage sau HowTo.
Iată ce ar trebui să faci: Unde pagina răspunde la întrebări reale sau oferă instrucțiuni, marcheaz-o ca FAQPage sau HowTo (fără marcaj fără conținut vizibil corespunzător).
Semnale de încredere și de entitate (E-E-A-T)
Fără semnal de autor sau de autorat
Nu se poate recunoaște niciun autor (nici meta tag, nici rel=author, nici JSON-LD Person). Pentru „experiență” și „expertiză” în sensul E-E-A-T contează un autorat numit și verificabil.
Iată ce ar trebui să faci: La conținut editorial, numește un autor și leagă o pagină de autor; marcheaz-o și ca JSON-LD „Person”.
Fără dată vizibilă sau marcată
Nu se poate recunoaște o dată de publicare sau de modificare (nici <time>, nici article:published_time, nici datePublished în JSON-LD). La multe întrebări, sistemele AI preferă surse actuale.
Iată ce ar trebui să faci: La conținut cu referință temporală, afișează o dată vizibil și marchează datePublished / dateModified în JSON-LD.
În regulă (7)
- Conținutul principal este în HTML fără JavaScript.
- Există date structurate (JSON-LD). — WebSite, NewsMediaOrganization
- Exact un titlu H1.
- Este setat un URL canonic.
- Sitemap-ul este accesibil.
- Timp de răspuns rapid al serverului.
- Fără noindex — pagina poate fi indexată.
Pașii următori
- Roboți AI importanți sunt blocați în robots.txt. Verifică pentru fiecare robot dacă blocarea este intenționată. Pentru vizibilitatea AI ar trebui să fie permiși cel puțin GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot și Google-Extended.
- Serverul blochează roboți deși robots.txt îi permite. Adaugă agenții de utilizator și/sau intervalele IP ale roboților AI doriți pe o listă de permise în WAF / Cloudflare / firewall. Verifică-i prin DNS invers, nu doar după șirul agentului de utilizator.
- Titlul paginii prea scurt sau prea lung. Scrie un titlu concis care conține tema și, dacă e cazul, marca.
Rescanare săptămânală cu alertă pe e-mail la fiecare modificare. În pregătire — introdu adresa ta.
Metodă și limite
Verificat pe 04.09.2026. citeglass preia nytimes.com și fișierele asociate (robots.txt, llms.txt, sitemap.xml) prin HTTP — o dată ca browser normal, o dată pentru fiecare agent de utilizator de robot AI. Nu se execută JavaScript. Timp până la primul octet: 235 ms.
Ce nu este: Fără urmărirea pozițiilor sau a citărilor, fără vreo afirmație despre faptul dacă un model te numește cu adevărat și fără verificarea conținutului încărcat prin JavaScript. Un instantaneu din perspectiva unui IP de server.