Preverjeno 4. 9. 2026 · https://www.nytimes.com/
Obstaja 2 kritičnih blokad za najdljivost prek UI — najprej jih odpravite.
Matrika UI-robotov
Za vsakega robota: kaj dovoljuje vaš robots.txt — in kaj vaš strežnik dejansko vrne uporabniškemu agentu robota. Rdeče označene vrstice: robots to dovoljuje, a strežnik blokira (običajno pravilo WAF ali zaščite pred roboti).
| Robot | Upravljavec | robots.txt | Odziv strežnika |
|---|---|---|---|
| GPTBot | OpenAI | blokirano | blokirano (403 / WAF) |
| OAI-SearchBot | OpenAI | blokirano | blokirano (403 / WAF) |
| ChatGPT-User | OpenAI | blokirano | blokirano (403 / WAF) |
| ClaudeBot | Anthropic | blokirano | blokirano (403 / WAF) |
| Claude-SearchBot | Anthropic | blokirano | blokirano (403 / WAF) |
| Claude-User | Anthropic | blokirano | blokirano (403 / WAF) |
| PerplexityBot | Perplexity | blokirano | blokirano (403 / WAF) |
| Perplexity-User | Perplexity | blokirano | blokirano (403 / WAF) |
| Google-Extended | Google (Gemini-Training) | blokirano | — |
| Googlebot | Google (KI-Übersichten) | dovoljeno | 200 + vsebina |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | blokirano | blokirano (403 / WAF) |
| Bytespider | ByteDance (Doubao) | blokirano | blokirano (403 / WAF) |
| Amazonbot | Amazon (Alexa/Rufus) | dovoljeno | blokirano (403 / WAF) |
| Applebot-Extended | Apple (Intelligence-Training) | blokirano | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | blokirano | blokirano (403 / WAF) |
Kako nastane ocena?
| Pomembni UI-roboti so blokirani v robots.txt | -32 |
| Strežnik blokira robote, čeprav jih robots.txt dovoljuje | -6 |
| Naslov strani prekratek ali predolg | -6 |
| Ni llms.txt | -5 |
| Ni sheme Organization | -4 |
| Ni signala avtorja ali avtorstva | -4 |
| Ni vidnega ali označenega datuma | -3 |
| Ni oznak FAQ ali HowTo | -2 |
| Rezultat | 38 / 100 |
Dostop za UI-robote
Pomembni UI-roboti so blokirani v robots.txt
Vaš robots.txt prepoveduje dostop 5 osrednjim UI-robotom: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended. Ti sistemi potem ne morejo naložiti vaše vsebine niti je uporabiti kot vir.
To bi morali storiti: Preverite pri vsakem robotu, ali je blokada namerna. Za vidnost prek UI morajo biti dovoljeni vsaj GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot in Google-Extended.
User-agent: GPTBot Allow: / User-agent: PerplexityBot Allow: /
Strežnik blokira robote, čeprav jih robots.txt dovoljuje
Za 1 robotov iz Amazon (Alexa/Rufus) robots.txt pravi »dovoljeno«, a strežnik odgovori s kodo 403 ali stranjo za zaščito pred roboti. Običajno pravilo WAF, požarnega zidu ali CDN, ki robota izključi mimo robots.txt.
To bi morali storiti: Dodajte uporabniške agente in/ali obsege IP želenih UI-robotov na seznam dovoljenih v svojem WAF / Cloudflare / požarnem zidu. Preverite jih prek obratnega DNS, ne le prek niza uporabniškega agenta.
Struktura in strojno razumevanje
Naslov strani prekratek ali predolg
<title> je dolg 66 znakov. Smiselno je okoli 30–60 znakov: dovolj opisen za poimenovanje teme, dovolj kratek, da ni odrezan.
To bi morali storiti: Napišite jedrnat naslov, ki vsebuje temo in po potrebi blagovno znamko.
Ni llms.txt
Na /llms.txt ni datoteke. llms.txt je kratek pregled vaše ključne vsebine v Markdown, ki ga nekateri UI-sistemi uporabljajo za orientacijo.
To bi morali storiti: Ustvarite /llms.txt: H1 z imenom, kratek odstavek o ponudbi in seznam povezav do osrednjih strani.
# Vaše podjetje > Opis v enem stavku. ## Pomembne strani - [Izdelek](https://vasa-domena.si/izdelek): … - [Cene](https://vasa-domena.si/cene): … - [O nas](https://vasa-domena.si/o-nas): …
Ni sheme Organization
JSON-LD je, a ni vnosa »Organization«. UI-sistemi potem slabše umestijo vašo blagovno znamko kot samostojno entiteto in jo slabše povežejo z zunanjimi viri.
To bi morali storiti: Dodajte shemo »Organization« z name, url, logo in sameAs (povezave do vaših uradnih profilov).
Ni oznak FAQ ali HowTo
Vsebino v obliki vprašanje-odgovor in korak za korakom je UI-sistemom brez oznak FAQPage ali HowTo težje prepoznati kot neposredno navedljiv odgovor.
To bi morali storiti: Kjer stran odgovarja na prava vprašanja ali daje navodila, jo označite kot FAQPage ali HowTo (brez oznak brez vidno ustrezne vsebine).
Signali zaupanja in entitete (E-E-A-T)
Ni signala avtorja ali avtorstva
Ni prepoznavnega avtorja (niti meta oznaka, niti rel=author, niti JSON-LD Person). Za »izkušnje« in »strokovnost« v smislu E-E-A-T šteje poimenovano, sledljivo avtorstvo.
To bi morali storiti: Pri uredniški vsebini poimenujte avtorja in povežite avtorsko stran; označite ga tudi kot JSON-LD »Person«.
Ni vidnega ali označenega datuma
Ni prepoznavnega datuma objave ali spremembe (niti <time>, niti article:published_time, niti datePublished v JSON-LD). Pri mnogih vprašanjih UI-sistemi dajejo prednost aktualnim virom.
To bi morali storiti: Pri vsebini s časovno navezavo prikažite datum vidno in označite datePublished / dateModified v JSON-LD.
V redu (7)
- Glavna vsebina je v HTML brez JavaScripta.
- Strukturirani podatki (JSON-LD) so prisotni. — WebSite, NewsMediaOrganization
- Natanko en naslov H1.
- Nastavljen je canonical URL.
- Sitemap je dosegljiv.
- Hiter odzivni čas strežnika.
- Brez noindex — stran je lahko indeksirana.
Naslednji koraki
- Pomembni UI-roboti so blokirani v robots.txt. Preverite pri vsakem robotu, ali je blokada namerna. Za vidnost prek UI morajo biti dovoljeni vsaj GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot in Google-Extended.
- Strežnik blokira robote, čeprav jih robots.txt dovoljuje. Dodajte uporabniške agente in/ali obsege IP želenih UI-robotov na seznam dovoljenih v svojem WAF / Cloudflare / požarnem zidu. Preverite jih prek obratnega DNS, ne le prek niza uporabniškega agenta.
- Naslov strani prekratek ali predolg. Napišite jedrnat naslov, ki vsebuje temo in po potrebi blagovno znamko.
Tedensko ponovno skeniranje z e-poštnim opozorilom ob vsaki spremembi. V pripravi — vnesite svoj naslov.
Metoda in omejitve
Preverjeno 4. 9. 2026. citeglass naloži nytimes.com in povezane datoteke (robots.txt, llms.txt, sitemap.xml) prek HTTP — enkrat kot običajen brskalnik, enkrat na vsak uporabniški agent UI-robota. JavaScript se ne izvaja. Čas do prvega bajta: 235 ms.
Kaj to ni: Brez sledenja položajem ali navedbam, brez trditve, ali vas model dejansko imenuje, in brez preverjanja vsebine, naložene prek JavaScripta. Posnetek stanja z vidika enega strežniškega IP-ja.