Patikrinta 2026-09-04 · https://www.nytimes.com/
DI aptinkamumui yra 2 kritinių kliūčių — pašalinkite jas pirmiausia.
DI robotų matrica
Kiekvienam robotui: ką leidžia jūsų robots.txt — ir ką jūsų serveris iš tikrųjų grąžina roboto naudotojo agentui. Raudonai paryškintos eilutės: robots leidžia, bet serveris blokuoja (paprastai WAF arba apsaugos nuo robotų taisyklė).
| Robotas | Operatorius | robots.txt | Serverio atsakas |
|---|---|---|---|
| GPTBot | OpenAI | blokuojama | blokuojama (403 / WAF) |
| OAI-SearchBot | OpenAI | blokuojama | blokuojama (403 / WAF) |
| ChatGPT-User | OpenAI | blokuojama | blokuojama (403 / WAF) |
| ClaudeBot | Anthropic | blokuojama | blokuojama (403 / WAF) |
| Claude-SearchBot | Anthropic | blokuojama | blokuojama (403 / WAF) |
| Claude-User | Anthropic | blokuojama | blokuojama (403 / WAF) |
| PerplexityBot | Perplexity | blokuojama | blokuojama (403 / WAF) |
| Perplexity-User | Perplexity | blokuojama | blokuojama (403 / WAF) |
| Google-Extended | Google (Gemini-Training) | blokuojama | — |
| Googlebot | Google (KI-Übersichten) | leidžiama | 200 + turinys |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | blokuojama | blokuojama (403 / WAF) |
| Bytespider | ByteDance (Doubao) | blokuojama | blokuojama (403 / WAF) |
| Amazonbot | Amazon (Alexa/Rufus) | leidžiama | blokuojama (403 / WAF) |
| Applebot-Extended | Apple (Intelligence-Training) | blokuojama | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | blokuojama | blokuojama (403 / WAF) |
Kaip susidaro įvertinimas?
| Svarbūs DI robotai blokuojami robots.txt | -32 |
| Serveris blokuoja robotus, nors robots.txt juos leidžia | -6 |
| Puslapio pavadinimas per trumpas arba per ilgas | -6 |
| Nėra llms.txt | -5 |
| Nėra Organization schemos | -4 |
| Nėra autoriaus ar autorystės signalo | -4 |
| Nėra matomos ar pažymėtos datos | -3 |
| Nėra FAQ arba HowTo žymėjimo | -2 |
| Rezultatas | 38 / 100 |
Prieiga DI robotams
Svarbūs DI robotai blokuojami robots.txt
Jūsų robots.txt draudžia prieigą 5 pagrindiniams DI robotams: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended. Tada šios sistemos negali įkelti jūsų turinio ir naudoti jo kaip šaltinio.
Štai ką turėtumėte padaryti: Patikrinkite kiekvienam robotui, ar blokavimas yra tyčinis. DI matomumui turėtų būti leidžiami bent GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot ir Google-Extended.
User-agent: GPTBot Allow: / User-agent: PerplexityBot Allow: /
Serveris blokuoja robotus, nors robots.txt juos leidžia
1 robotams iš Amazon (Alexa/Rufus) robots.txt sako „leidžiama“, bet serveris atsako kodu 403 arba apsaugos nuo robotų puslapiu. Paprastai WAF, ugniasienės arba CDN taisyklė, kuri neįsileidžia roboto apeidama robots.txt.
Štai ką turėtumėte padaryti: Pridėkite pageidaujamų DI robotų naudotojo agentus ir (arba) IP diapazonus į leidžiamųjų sąrašą savo WAF / Cloudflare / ugniasienėje. Patikrinkite juos per atvirkštinį DNS, ne tik pagal naudotojo agento eilutę.
Struktūra ir mašininis suprantamumas
Puslapio pavadinimas per trumpas arba per ilgas
<title> yra 66 simbolių ilgio. Pagrįsta yra apie 30–60 simbolių: pakankamai aprašomasis, kad įvardytų temą, pakankamai trumpas, kad nebūtų nukirstas.
Štai ką turėtumėte padaryti: Parašykite glaustą pavadinimą, kuriame būtų tema ir prireikus prekės ženklas.
Nėra llms.txt
Adresu /llms.txt nėra failo. llms.txt yra trumpa jūsų pagrindinio turinio Markdown apžvalga, kurią kai kurios DI sistemos naudoja orientuotis.
Štai ką turėtumėte padaryti: Sukurkite /llms.txt: H1 su pavadinimu, trumpą pastraipą apie pasiūlymą ir nuorodų sąrašą į pagrindinius puslapius.
# Jūsų įmonė > Aprašymas vienu sakiniu. ## Svarbūs puslapiai - [Produktas](https://jusu-domenas.lt/produktas): … - [Kainos](https://jusu-domenas.lt/kainos): … - [Apie mus](https://jusu-domenas.lt/apie-mus): …
Nėra Organization schemos
JSON-LD yra, bet nėra „Organization“ įrašo. Tada DI sistemos prasčiau įvardija jūsų prekės ženklą kaip atskirą esybę ir prasčiau sieja jį su išoriniais šaltiniais.
Štai ką turėtumėte padaryti: Pridėkite „Organization“ schemą su name, url, logo ir sameAs (nuorodos į jūsų oficialius profilius).
Nėra FAQ arba HowTo žymėjimo
Klausimo–atsakymo ir žingsnis po žingsnio turinį DI sistemoms be FAQPage arba HowTo žymėjimo sunkiau atpažinti kaip tiesiogiai cituotiną atsakymą.
Štai ką turėtumėte padaryti: Ten, kur puslapis atsako į tikrus klausimus arba pateikia instrukcijas, pažymėkite jį kaip FAQPage arba HowTo (jokio žymėjimo be matomai atitinkamo turinio).
Pasitikėjimo ir esybės signalai (E-E-A-T)
Nėra autoriaus ar autorystės signalo
Autorius neatpažįstamas (nei meta žyma, nei rel=author, nei JSON-LD Person). „Patirčiai“ ir „ekspertiškumui“ E-E-A-T prasme svarbi įvardyta, atsekama autorystė.
Štai ką turėtumėte padaryti: Redakciniam turiniui įvardykite autorių vardu ir susiekite autoriaus puslapį; pažymėkite jį ir kaip JSON-LD „Person“.
Nėra matomos ar pažymėtos datos
Neatpažįstama paskelbimo ar keitimo data (nei <time>, nei article:published_time, nei datePublished JSON-LD). Daugeliui klausimų DI sistemos teikia pirmenybę naujiems šaltiniams.
Štai ką turėtumėte padaryti: Su laiku susijusiam turiniui rodykite datą matomai ir pažymėkite datePublished / dateModified JSON-LD.
Tvarkoje (7)
- Pagrindinis turinys yra HTML be JavaScript.
- Yra struktūrizuotų duomenų (JSON-LD). — WebSite, NewsMediaOrganization
- Tiksliai viena H1 antraštė.
- Nustatytas canonical URL.
- Sitemap pasiekiamas.
- Greitas serverio atsako laikas.
- Nėra noindex — puslapį galima indeksuoti.
Kiti žingsniai
- Svarbūs DI robotai blokuojami robots.txt. Patikrinkite kiekvienam robotui, ar blokavimas yra tyčinis. DI matomumui turėtų būti leidžiami bent GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot ir Google-Extended.
- Serveris blokuoja robotus, nors robots.txt juos leidžia. Pridėkite pageidaujamų DI robotų naudotojo agentus ir (arba) IP diapazonus į leidžiamųjų sąrašą savo WAF / Cloudflare / ugniasienėje. Patikrinkite juos per atvirkštinį DNS, ne tik pagal naudotojo agento eilutę.
- Puslapio pavadinimas per trumpas arba per ilgas. Parašykite glaustą pavadinimą, kuriame būtų tema ir prireikus prekės ženklas.
Savaitinis pakartotinis nuskaitymas su el. laiško įspėjimu kiekvieną kartą pasikeitus. Rengiama — įveskite savo adresą.
Metodas ir ribos
Patikrinta 2026-09-04. citeglass per HTTP atsisiunčia nytimes.com ir susijusius failus (robots.txt, llms.txt, sitemap.xml) — vieną kartą kaip įprastą naršyklę, vieną kartą kiekvienam DI roboto naudotojo agentui. JavaScript nevykdomas. Laikas iki pirmojo baito: 235 ms.
Kas tai nėra: Jokio pozicijų ar citavimo stebėjimo, jokio teiginio, ar modelis jus iš tikrųjų paminės, ir jokio per JavaScript įkelto turinio tikrinimo. Momentinė nuotrauka iš vieno serverio IP perspektyvos.