Preverjeno 24. 9. 2026 · https://www.nytimes.com/
Obstaja 2 kritičnih blokad za najdljivost prek UI — najprej jih odpravite.
Matrika UI-robotov
Za vsakega robota: kaj dovoljuje vaš robots.txt — in kaj vaš strežnik dejansko vrne uporabniškemu agentu robota. Rdeče označene vrstice: robots to dovoljuje, a strežnik blokira (običajno pravilo WAF ali zaščite pred roboti).
| Robot | Upravljavec | robots.txt | Odziv strežnika |
|---|---|---|---|
| GPTBot | OpenAI | blokirano | blokirano (403 / WAF) |
| OAI-SearchBot | OpenAI | blokirano | blokirano (403 / WAF) |
| ChatGPT-User | OpenAI | blokirano | blokirano (403 / WAF) |
| ClaudeBot | Anthropic | blokirano | blokirano (403 / WAF) |
| Claude-SearchBot | Anthropic | blokirano | blokirano (403 / WAF) |
| Claude-User | Anthropic | blokirano | blokirano (403 / WAF) |
| PerplexityBot | Perplexity | blokirano | blokirano (403 / WAF) |
| Perplexity-User | Perplexity | blokirano | blokirano (403 / WAF) |
| Google-Extended | Google (Gemini-Training) | blokirano | — |
| Googlebot | Google (KI-Übersichten) | dovoljeno | blokirano (403 / WAF) |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | blokirano | blokirano (403 / WAF) |
| Bytespider | ByteDance (Doubao) | blokirano | blokirano (403 / WAF) |
| Amazonbot | Amazon (Alexa/Rufus) | dovoljeno | blokirano (403 / WAF) |
| Applebot-Extended | Apple (Intelligence-Training) | blokirano | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | blokirano | blokirano (403 / WAF) |
Kako nastane ocena?
| Iskalni boti UI so v robots.txt blokirani | -32 |
| Strežnik blokira robote, čeprav jih robots.txt dovoljuje | -12 |
| Zelo malo besedila v HTML | -10 |
| Ni strukturiranih podatkov (JSON-LD) | -8 |
| Naslov strani prekratek ali predolg | -6 |
| Ne natanko en naslov H1 | -5 |
| Meta opis manjka ali ni ustrezen | -5 |
| Ni llms.txt | -5 |
| Ni signala avtorja ali avtorstva | -4 |
| Ni povezav sameAs | -3 |
| Ni povezave do pravnih informacij / o nas / stik | -3 |
| Ni vidnega ali označenega datuma | -3 |
| Ni canonical URL-ja | -3 |
| Rezultat | 1 / 100 |
Dostop za UI-robote
Iskalni boti UI so v robots.txt blokirani
Vaš robots.txt blokira 6 botov, ki pridobivajo vsebino za odgovore asistentov UI in iskalnikov: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User. Dokler so blokirani, se vaše spletno mesto tam ne more pojaviti kot vir.
To bi morali storiti: Za vsakega bota preverite, ali je blokada namerna. Če želite izključiti le učenje UI, blokirajte bote za učenje (GPTBot, ClaudeBot, Google-Extended) in dovolite iskalne bote.
User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: /
Strežnik blokira robote, čeprav jih robots.txt dovoljuje
Za 2 robotov iz Google (KI-Übersichten), Amazon (Alexa/Rufus) robots.txt pravi »dovoljeno«, a strežnik odgovori s kodo 403 ali stranjo za zaščito pred roboti. Običajno pravilo WAF, požarnega zidu ali CDN, ki robota izključi mimo robots.txt.
To bi morali storiti: Dodajte uporabniške agente in/ali obsege IP želenih UI-robotov na seznam dovoljenih v svojem WAF / Cloudflare / požarnem zidu. Preverite jih prek obratnega DNS, ne le prek niza uporabniškega agenta.
Učenje UI izključeno
Vaš robots.txt blokira pajke, ki zbirajo vsebino za učenje jezikovnih modelov: GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended. To ne preprečuje navajanja — iskalni in pridobitveni boti, kot so OAI-SearchBot, PerplexityBot in Googlebot za preglede z UI, so ločeni.
To bi morali storiti: Nič ni treba storiti, če je izključitev namerna. Poskrbite le, da iskalni boti ostanejo dovoljeni.
Vsebina brez JavaScripta
Zelo malo besedila v HTML
Začetni HTML vsebuje le okoli 55 znakov vidnega besedila. To komaj zadošča, da UI-sistemi zanesljivo razberejo temo strani.
To bi morali storiti: Poskrbite, da je dejanska vsebina v celoti v HTML in ne v slikah, iframih ali blokih, naloženih prek JavaScripta.
Struktura in strojno razumevanje
Ni strukturiranih podatkov (JSON-LD)
Stran ne vsebuje JSON-LD. Strukturirani podatki pomagajo UI-sistemom nedvoumno prepoznati entitete, avtorja, organizacijo, datum in vrsto strani — brez njih je treba vse ugibati iz besedila.
To bi morali storiti: Dodajte vsaj shemo »Organization« in eno, ki ustreza vrsti strani (Article, Product, FAQPage …), kot JSON-LD v <head>.
<script type="application/ld+json">
{"@context":"https://schema.org","@type":"Organization",
"name":"Vaše podjetje","url":"https://vasa-domena.si",
"sameAs":["https://www.linkedin.com/company/…"]}
</script>Naslov strani prekratek ali predolg
<title> je dolg 11 znakov. Smiselno je okoli 30–60 znakov: dovolj opisen za poimenovanje teme, dovolj kratek, da ni odrezan.
To bi morali storiti: Napišite jedrnat naslov, ki vsebuje temo in po potrebi blagovno znamko.
Ne natanko en naslov H1
Stran ima 0 naslovov H1. En nedvoumen H1 pove ljudem in strojem, o čem je stran predvsem.
To bi morali storiti: Nastavite natanko en H1, ki poimenuje glavno temo strani. Vse pod tem se začne pri H2.
Meta opis manjka ali ni ustrezen
Meta opis je dolg 0 znakov. Pogosto je prvo, kar UI-sistemi in iskalniki preberejo kot povzetek strani.
To bi morali storiti: Napišite samostojen povzetek strani v enem ali dveh stavkih (okoli 120–200 znakov), ne niz ključnih besed.
Ni llms.txt
Na /llms.txt ni datoteke. llms.txt je kratek pregled vaše ključne vsebine v Markdown, ki ga nekateri UI-sistemi uporabljajo za orientacijo.
To bi morali storiti: Ustvarite /llms.txt: H1 z imenom, kratek odstavek o ponudbi in seznam povezav do osrednjih strani.
# Vaše podjetje > Opis v enem stavku. ## Pomembne strani - [Izdelek](https://vasa-domena.si/izdelek): … - [Cene](https://vasa-domena.si/cene): … - [O nas](https://vasa-domena.si/o-nas): …
Signali zaupanja in entitete (E-E-A-T)
Ni signala avtorja ali avtorstva
Ni prepoznavnega avtorja (niti meta oznaka, niti rel=author, niti JSON-LD Person). Za »izkušnje« in »strokovnost« v smislu E-E-A-T šteje poimenovano, sledljivo avtorstvo.
To bi morali storiti: Pri uredniški vsebini poimenujte avtorja in povežite avtorsko stran; označite ga tudi kot JSON-LD »Person«.
Ni povezav sameAs
V JSON-LD manjka »sameAs«. Z njim UI-sistemi jasno povežejo vašo blagovno znamko ali osebo z znanimi entitetami (Wikidata, LinkedIn, panožni imeniki).
To bi morali storiti: Dodajte »sameAs« v Organization ali Person z URL-ji vaših uradnih profilov in vnosov v imenike.
Ni povezave do pravnih informacij / o nas / stik
Na preverjeni strani ni prepoznavne povezave do pravnih informacij, strani »O nas« ali stika. Take strani so močan signal zaupanja in pomagajo pri povezovanju entitete.
To bi morali storiti: Povežite pravne informacije ali »O nas« in stik vidno, običajno v nogi vsake strani.
Ni vidnega ali označenega datuma
Ni prepoznavnega datuma objave ali spremembe (niti <time>, niti article:published_time, niti datePublished v JSON-LD). Pri mnogih vprašanjih UI-sistemi dajejo prednost aktualnim virom.
To bi morali storiti: Pri vsebini s časovno navezavo prikažite datum vidno in označite datePublished / dateModified v JSON-LD.
Tehnična podlaga
Ni canonical URL-ja
Stran ne nastavi <link rel="canonical">. Brez canonical lahko ostane nejasno, katera različica je merodajna, ko obstaja več različic URL-ja.
To bi morali storiti: Na vsaki strani nastavite samosklicujoč <link rel="canonical"> s prednostnim URL-jem.
V redu (3)
- Sitemap je dosegljiv.
- Hiter odzivni čas strežnika.
- Brez noindex — stran je lahko indeksirana.
Naslednji koraki
- Iskalni boti UI so v robots.txt blokirani. Za vsakega bota preverite, ali je blokada namerna. Če želite izključiti le učenje UI, blokirajte bote za učenje (GPTBot, ClaudeBot, Google-Extended) in dovolite iskalne bote.
- Strežnik blokira robote, čeprav jih robots.txt dovoljuje. Dodajte uporabniške agente in/ali obsege IP želenih UI-robotov na seznam dovoljenih v svojem WAF / Cloudflare / požarnem zidu. Preverite jih prek obratnega DNS, ne le prek niza uporabniškega agenta.
- Zelo malo besedila v HTML. Poskrbite, da je dejanska vsebina v celoti v HTML in ne v slikah, iframih ali blokih, naloženih prek JavaScripta.
Tedensko ponovno skeniranje z e-poštnim opozorilom ob vsaki spremembi. V pripravi — vnesite svoj naslov.
Metoda in omejitve
Preverjeno 24. 9. 2026. citeglass naloži nytimes.com in povezane datoteke (robots.txt, llms.txt, sitemap.xml) prek HTTP — enkrat kot običajen brskalnik, enkrat na vsak uporabniški agent UI-robota. JavaScript se ne izvaja. Čas do prvega bajta: 99 ms.
Kaj to ni: Brez sledenja položajem ali navedbam, brez trditve, ali vas model dejansko imenuje, in brez preverjanja vsebine, naložene prek JavaScripta. Posnetek stanja z vidika enega strežniškega IP-ja.