Pārbaudīts 4.09.2026. · https://www.nytimes.com/
MI atrodamībai ir 2 kritiski šķēršļi — novērsiet tos vispirms.
MI robotu matrica
Katram robotam: ko atļauj jūsu robots.txt — un ko serveris patiešām atgriež robota lietotāja aģentam. Sarkani izceltas rindas: robots to atļauj, bet serveris bloķē (parasti WAF vai aizsardzības pret robotiem noteikums).
| Robots | Operators | robots.txt | Servera atbilde |
|---|---|---|---|
| GPTBot | OpenAI | bloķēts | bloķēts (403 / WAF) |
| OAI-SearchBot | OpenAI | bloķēts | bloķēts (403 / WAF) |
| ChatGPT-User | OpenAI | bloķēts | bloķēts (403 / WAF) |
| ClaudeBot | Anthropic | bloķēts | bloķēts (403 / WAF) |
| Claude-SearchBot | Anthropic | bloķēts | bloķēts (403 / WAF) |
| Claude-User | Anthropic | bloķēts | bloķēts (403 / WAF) |
| PerplexityBot | Perplexity | bloķēts | bloķēts (403 / WAF) |
| Perplexity-User | Perplexity | bloķēts | bloķēts (403 / WAF) |
| Google-Extended | Google (Gemini-Training) | bloķēts | — |
| Googlebot | Google (KI-Übersichten) | atļauts | 200 + saturs |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | bloķēts | bloķēts (403 / WAF) |
| Bytespider | ByteDance (Doubao) | bloķēts | bloķēts (403 / WAF) |
| Amazonbot | Amazon (Alexa/Rufus) | atļauts | bloķēts (403 / WAF) |
| Applebot-Extended | Apple (Intelligence-Training) | bloķēts | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | bloķēts | bloķēts (403 / WAF) |
Kā veidojas vērtējums?
| Svarīgi MI roboti ir bloķēti robots.txt | -32 |
| Serveris bloķē robotus, lai gan robots.txt tos atļauj | -6 |
| Lapas nosaukums pārāk īss vai pārāk garš | -6 |
| Nav llms.txt | -5 |
| Nav Organization shēmas | -4 |
| Nav autora vai autorības signāla | -4 |
| Nav redzama vai marķēta datuma | -3 |
| Nav FAQ vai HowTo marķējuma | -2 |
| Rezultāts | 38 / 100 |
Piekļuve MI robotiem
Svarīgi MI roboti ir bloķēti robots.txt
Jūsu robots.txt aizliedz piekļuvi 5 galvenajiem MI robotiem: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended. Tad šīs sistēmas nevar ielādēt jūsu saturu un izmantot to kā avotu.
Lūk, kas jums būtu jādara: Pārbaudiet katram robotam, vai bloķējums ir apzināts. MI redzamībai jābūt atļautiem vismaz GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot un Google-Extended.
User-agent: GPTBot Allow: / User-agent: PerplexityBot Allow: /
Serveris bloķē robotus, lai gan robots.txt tos atļauj
1 robotiem no Amazon (Alexa/Rufus) robots.txt saka „atļauts“, bet serveris atbild ar kodu 403 vai aizsardzības pret robotiem lapu. Parasti WAF, ugunsmūra vai CDN noteikums, kas izslēdz robotu, apejot robots.txt.
Lūk, kas jums būtu jādara: Pievienojiet vēlamo MI robotu lietotāja aģentus un/vai IP diapazonus atļauto sarakstam savā WAF / Cloudflare / ugunsmūrī. Pārbaudiet tos ar reverso DNS, nevis tikai pēc lietotāja aģenta virknes.
Struktūra un mašīnas saprotamība
Lapas nosaukums pārāk īss vai pārāk garš
<title> ir 66 rakstzīmes garš. Saprātīgi ir aptuveni 30–60 rakstzīmes: pietiekami aprakstošs, lai nosauktu tēmu, pietiekami īss, lai netiktu nogriezts.
Lūk, kas jums būtu jādara: Uzrakstiet kodolīgu nosaukumu, kurā ietverta tēma un nepieciešamības gadījumā zīmols.
Nav llms.txt
Adresē /llms.txt nav faila. llms.txt ir īss jūsu galvenā satura Markdown pārskats, ko dažas MI sistēmas izmanto orientācijai.
Lūk, kas jums būtu jādara: Izveidojiet /llms.txt: H1 ar nosaukumu, īsu rindkopu par piedāvājumu un saišu sarakstu uz galvenajām lapām.
# Jūsu uzņēmums > Apraksts vienā teikumā. ## Svarīgas lapas - [Produkts](https://jusu-domens.lv/produkts): … - [Cenas](https://jusu-domens.lv/cenas): … - [Par mums](https://jusu-domens.lv/par-mums): …
Nav Organization shēmas
JSON-LD ir, bet nav „Organization“ ieraksta. MI sistēmas tad sliktāk novieto jūsu zīmolu kā atsevišķu vienību un sliktāk sasaista to ar ārējiem avotiem.
Lūk, kas jums būtu jādara: Pievienojiet „Organization“ shēmu ar name, url, logo un sameAs (saites uz jūsu oficiālajiem profiliem).
Nav FAQ vai HowTo marķējuma
Jautājumu–atbilžu un soli pa solim saturu MI sistēmām bez FAQPage vai HowTo marķējuma grūtāk atpazīt kā tieši citējamu atbildi.
Lūk, kas jums būtu jādara: Kur lapa atbild uz reāliem jautājumiem vai sniedz norādījumus, marķējiet to kā FAQPage vai HowTo (nekāda marķējuma bez redzami atbilstoša satura).
Uzticamības un vienības signāli (E-E-A-T)
Nav autora vai autorības signāla
Nav atpazīstama autora (ne meta birkas, ne rel=author, ne JSON-LD Person). „Pieredzei“ un „ekspertīzei“ E-E-A-T nozīmē svarīga ir nosaukta, izsekojama autorība.
Lūk, kas jums būtu jādara: Redakcionālam saturam nosauciet autoru vārdā un sasaistiet autora lapu; marķējiet viņu arī kā JSON-LD „Person“.
Nav redzama vai marķēta datuma
Nav atpazīstama publicēšanas vai izmaiņu datuma (ne <time>, ne article:published_time, ne datePublished JSON-LD). Daudziem jautājumiem MI sistēmas dod priekšroku aktuāliem avotiem.
Lūk, kas jums būtu jādara: Saturam ar laika saistību parādiet datumu redzami un marķējiet datePublished / dateModified JSON-LD.
Kārtībā (7)
- Galvenais saturs ir HTML bez JavaScript.
- Ir strukturēti dati (JSON-LD). — WebSite, NewsMediaOrganization
- Tieši viens H1 virsraksts.
- Ir iestatīts canonical URL.
- Sitemap ir pieejams.
- Ātrs servera atbildes laiks.
- Nav noindex — lapu drīkst indeksēt.
Nākamie soļi
- Svarīgi MI roboti ir bloķēti robots.txt. Pārbaudiet katram robotam, vai bloķējums ir apzināts. MI redzamībai jābūt atļautiem vismaz GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot un Google-Extended.
- Serveris bloķē robotus, lai gan robots.txt tos atļauj. Pievienojiet vēlamo MI robotu lietotāja aģentus un/vai IP diapazonus atļauto sarakstam savā WAF / Cloudflare / ugunsmūrī. Pārbaudiet tos ar reverso DNS, nevis tikai pēc lietotāja aģenta virknes.
- Lapas nosaukums pārāk īss vai pārāk garš. Uzrakstiet kodolīgu nosaukumu, kurā ietverta tēma un nepieciešamības gadījumā zīmols.
Iknedēļas atkārtota skenēšana ar e-pasta brīdinājumu pie katras izmaiņas. Sagatavošanā — ievadiet savu adresi.
Metode un robežas
Pārbaudīts 4.09.2026.. citeglass caur HTTP ielādē nytimes.com un saistītos failus (robots.txt, llms.txt, sitemap.xml) — vienreiz kā parastu pārlūku, vienreiz katram MI robota lietotāja aģentam. JavaScript netiek izpildīts. Laiks līdz pirmajam baitam: 235 ms.
Kas tas nav: Nekāda pozīciju vai citēšanas izsekošana, nekāds apgalvojums, vai modelis jūs patiešām min, un nekāda ar JavaScript ielādēta satura pārbaude. Momentuzņēmums no viena servera IP skatpunkta.