Patikrinta 2026-09-24 · https://www.nytimes.com/
DI aptinkamumui yra 2 kritinių kliūčių — pašalinkite jas pirmiausia.
DI robotų matrica
Kiekvienam robotui: ką leidžia jūsų robots.txt — ir ką jūsų serveris iš tikrųjų grąžina roboto naudotojo agentui. Raudonai paryškintos eilutės: robots leidžia, bet serveris blokuoja (paprastai WAF arba apsaugos nuo robotų taisyklė).
| Robotas | Operatorius | robots.txt | Serverio atsakas |
|---|---|---|---|
| GPTBot | OpenAI | blokuojama | blokuojama (403 / WAF) |
| OAI-SearchBot | OpenAI | blokuojama | blokuojama (403 / WAF) |
| ChatGPT-User | OpenAI | blokuojama | blokuojama (403 / WAF) |
| ClaudeBot | Anthropic | blokuojama | blokuojama (403 / WAF) |
| Claude-SearchBot | Anthropic | blokuojama | blokuojama (403 / WAF) |
| Claude-User | Anthropic | blokuojama | blokuojama (403 / WAF) |
| PerplexityBot | Perplexity | blokuojama | blokuojama (403 / WAF) |
| Perplexity-User | Perplexity | blokuojama | blokuojama (403 / WAF) |
| Google-Extended | Google (Gemini-Training) | blokuojama | — |
| Googlebot | Google (KI-Übersichten) | leidžiama | blokuojama (403 / WAF) |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | blokuojama | blokuojama (403 / WAF) |
| Bytespider | ByteDance (Doubao) | blokuojama | blokuojama (403 / WAF) |
| Amazonbot | Amazon (Alexa/Rufus) | leidžiama | blokuojama (403 / WAF) |
| Applebot-Extended | Apple (Intelligence-Training) | blokuojama | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | blokuojama | blokuojama (403 / WAF) |
Kaip susidaro įvertinimas?
| DI paieškos robotai užblokuoti robots.txt faile | -32 |
| Serveris blokuoja robotus, nors robots.txt juos leidžia | -12 |
| Labai mažai teksto HTML | -10 |
| Nėra struktūrizuotų duomenų (JSON-LD) | -8 |
| Puslapio pavadinimas per trumpas arba per ilgas | -6 |
| Ne tiksliai viena H1 antraštė | -5 |
| Meta aprašymo trūksta arba jis netinka | -5 |
| Nėra llms.txt | -5 |
| Nėra autoriaus ar autorystės signalo | -4 |
| Nėra sameAs sąsajų | -3 |
| Nėra nuorodos į teisinę informaciją / apie mus / kontaktus | -3 |
| Nėra matomos ar pažymėtos datos | -3 |
| Nėra canonical URL | -3 |
| Rezultatas | 1 / 100 |
Prieiga DI robotams
DI paieškos robotai užblokuoti robots.txt faile
Jūsų robots.txt blokuoja 6 robotus, kurie gauna turinį DI asistentų ir paieškos sistemų atsakymams: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User. Kol jie užblokuoti, jūsų svetainė ten negali pasirodyti kaip šaltinis.
Štai ką turėtumėte padaryti: Kiekvienam robotui patikrinkite, ar blokavimas tyčinis. Jei norite atsisakyti tik DI mokymo, užblokuokite mokymo robotus (GPTBot, ClaudeBot, Google-Extended) ir leiskite paieškos robotus.
User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: /
Serveris blokuoja robotus, nors robots.txt juos leidžia
2 robotams iš Google (KI-Übersichten), Amazon (Alexa/Rufus) robots.txt sako „leidžiama“, bet serveris atsako kodu 403 arba apsaugos nuo robotų puslapiu. Paprastai WAF, ugniasienės arba CDN taisyklė, kuri neįsileidžia roboto apeidama robots.txt.
Štai ką turėtumėte padaryti: Pridėkite pageidaujamų DI robotų naudotojo agentus ir (arba) IP diapazonus į leidžiamųjų sąrašą savo WAF / Cloudflare / ugniasienėje. Patikrinkite juos per atvirkštinį DNS, ne tik pagal naudotojo agento eilutę.
DI mokymas atsisakytas
Jūsų robots.txt blokuoja robotus, kurie renka turinį kalbos modeliams mokyti: GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended. Tai netrukdo citavimui — paieškos ir gavimo robotai, tokie kaip OAI-SearchBot, PerplexityBot ir Googlebot DI apžvalgoms, yra atskiri.
Štai ką turėtumėte padaryti: Nieko daryti nereikia, jei atsisakymas tyčinis. Tik pasirūpinkite, kad paieškos robotai liktų leidžiami.
Turinys be JavaScript
Labai mažai teksto HTML
Pradiniame HTML yra tik apie 55 simbolių matomo teksto. To vos pakanka, kad DI sistemos tikrai suprastų puslapio temą.
Štai ką turėtumėte padaryti: Įsitikinkite, kad tikrasis turinys yra visas HTML, o ne paveikslėliuose, iframe'uose ar per JavaScript įkeltuose blokuose.
Struktūra ir mašininis suprantamumas
Nėra struktūrizuotų duomenų (JSON-LD)
Puslapyje nėra JSON-LD. Struktūrizuoti duomenys padeda DI sistemoms vienareikšmiškai atpažinti esybes, autorių, organizaciją, datą ir puslapio tipą — be jų viską reikia spėti iš teksto.
Štai ką turėtumėte padaryti: Pridėkite bent „Organization“ schemą ir puslapio tipui tinkamą (Article, Product, FAQPage …) kaip JSON-LD į <head>.
<script type="application/ld+json">
{"@context":"https://schema.org","@type":"Organization",
"name":"Jūsų įmonė","url":"https://jusu-domenas.lt",
"sameAs":["https://www.linkedin.com/company/…"]}
</script>Puslapio pavadinimas per trumpas arba per ilgas
<title> yra 11 simbolių ilgio. Pagrįsta yra apie 30–60 simbolių: pakankamai aprašomasis, kad įvardytų temą, pakankamai trumpas, kad nebūtų nukirstas.
Štai ką turėtumėte padaryti: Parašykite glaustą pavadinimą, kuriame būtų tema ir prireikus prekės ženklas.
Ne tiksliai viena H1 antraštė
Puslapyje yra 0 H1 antraštės. Viena vienareikšmiška H1 pasako žmonėms ir mašinoms, apie ką puslapis pirmiausia.
Štai ką turėtumėte padaryti: Nustatykite tiksliai vieną H1, kuri įvardija pagrindinę puslapio temą. Viskas žemiau prasideda nuo H2.
Meta aprašymo trūksta arba jis netinka
Meta aprašymas yra 0 simbolių ilgio. Tai dažnai pirmas dalykas, kurį DI sistemos ir paieškos sistemos perskaito kaip puslapio santrauką.
Štai ką turėtumėte padaryti: Parašykite savarankišką puslapio santrauką vienu ar dviem sakiniais (apie 120–200 simbolių), o ne raktažodžių eilę.
Nėra llms.txt
Adresu /llms.txt nėra failo. llms.txt yra trumpa jūsų pagrindinio turinio Markdown apžvalga, kurią kai kurios DI sistemos naudoja orientuotis.
Štai ką turėtumėte padaryti: Sukurkite /llms.txt: H1 su pavadinimu, trumpą pastraipą apie pasiūlymą ir nuorodų sąrašą į pagrindinius puslapius.
# Jūsų įmonė > Aprašymas vienu sakiniu. ## Svarbūs puslapiai - [Produktas](https://jusu-domenas.lt/produktas): … - [Kainos](https://jusu-domenas.lt/kainos): … - [Apie mus](https://jusu-domenas.lt/apie-mus): …
Pasitikėjimo ir esybės signalai (E-E-A-T)
Nėra autoriaus ar autorystės signalo
Autorius neatpažįstamas (nei meta žyma, nei rel=author, nei JSON-LD Person). „Patirčiai“ ir „ekspertiškumui“ E-E-A-T prasme svarbi įvardyta, atsekama autorystė.
Štai ką turėtumėte padaryti: Redakciniam turiniui įvardykite autorių vardu ir susiekite autoriaus puslapį; pažymėkite jį ir kaip JSON-LD „Person“.
Nėra sameAs sąsajų
JSON-LD trūksta „sameAs“. Su juo DI sistemos aiškiai susieja jūsų prekės ženklą ar asmenį su žinomomis esybėmis (Wikidata, LinkedIn, šakos katalogai).
Štai ką turėtumėte padaryti: Pridėkite „sameAs“ į Organization arba Person su savo oficialių profilių ir katalogo įrašų URL adresais.
Nėra nuorodos į teisinę informaciją / apie mus / kontaktus
Patikrintame puslapyje neatpažįstama jokia nuoroda į teisinę informaciją, puslapį „Apie mus“ ar kontaktus. Tokie puslapiai yra stiprus pasitikėjimo signalas ir padeda susieti esybę.
Štai ką turėtumėte padaryti: Susiekite teisinę informaciją arba „Apie mus“ ir kontaktus matomai, paprastai kiekvieno puslapio poraštėje.
Nėra matomos ar pažymėtos datos
Neatpažįstama paskelbimo ar keitimo data (nei <time>, nei article:published_time, nei datePublished JSON-LD). Daugeliui klausimų DI sistemos teikia pirmenybę naujiems šaltiniams.
Štai ką turėtumėte padaryti: Su laiku susijusiam turiniui rodykite datą matomai ir pažymėkite datePublished / dateModified JSON-LD.
Techninis pagrindas
Nėra canonical URL
Puslapis nenustato <link rel="canonical">. Be canonical gali likti neaišku, kuri versija yra pagrindinė, kai yra kelios URL variantų versijos.
Štai ką turėtumėte padaryti: Kiekviename puslapyje nustatykite į save nukreipiantį <link rel="canonical"> su pageidaujamu URL.
Tvarkoje (3)
- Sitemap pasiekiamas.
- Greitas serverio atsako laikas.
- Nėra noindex — puslapį galima indeksuoti.
Kiti žingsniai
- DI paieškos robotai užblokuoti robots.txt faile. Kiekvienam robotui patikrinkite, ar blokavimas tyčinis. Jei norite atsisakyti tik DI mokymo, užblokuokite mokymo robotus (GPTBot, ClaudeBot, Google-Extended) ir leiskite paieškos robotus.
- Serveris blokuoja robotus, nors robots.txt juos leidžia. Pridėkite pageidaujamų DI robotų naudotojo agentus ir (arba) IP diapazonus į leidžiamųjų sąrašą savo WAF / Cloudflare / ugniasienėje. Patikrinkite juos per atvirkštinį DNS, ne tik pagal naudotojo agento eilutę.
- Labai mažai teksto HTML. Įsitikinkite, kad tikrasis turinys yra visas HTML, o ne paveikslėliuose, iframe'uose ar per JavaScript įkeltuose blokuose.
Savaitinis pakartotinis nuskaitymas su el. laiško įspėjimu kiekvieną kartą pasikeitus. Rengiama — įveskite savo adresą.
Metodas ir ribos
Patikrinta 2026-09-24. citeglass per HTTP atsisiunčia nytimes.com ir susijusius failus (robots.txt, llms.txt, sitemap.xml) — vieną kartą kaip įprastą naršyklę, vieną kartą kiekvienam DI roboto naudotojo agentui. JavaScript nevykdomas. Laikas iki pirmojo baito: 99 ms.
Kas tai nėra: Jokio pozicijų ar citavimo stebėjimo, jokio teiginio, ar modelis jus iš tikrųjų paminės, ir jokio per JavaScript įkelto turinio tikrinimo. Momentinė nuotrauka iš vieno serverio IP perspektyvos.