Provjereno 24. 09. 2026. · https://www.nytimes.com/
Postoji 2 kritičnih blokada za pronalaženje putem UI — riješite ih prve.
Matrica UI robota
Za svakog robota: što dopušta vaš robots.txt — i što vaš poslužitelj zapravo vraća korisničkom agentu robota. Crveno označeni redovi: robots to dopušta, ali poslužitelj blokira (obično pravilo WAF-a ili zaštite od robota).
| Robot | Operator | robots.txt | Odgovor poslužitelja |
|---|---|---|---|
| GPTBot | OpenAI | blokirano | blokirano (403 / WAF) |
| OAI-SearchBot | OpenAI | blokirano | blokirano (403 / WAF) |
| ChatGPT-User | OpenAI | blokirano | blokirano (403 / WAF) |
| ClaudeBot | Anthropic | blokirano | blokirano (403 / WAF) |
| Claude-SearchBot | Anthropic | blokirano | blokirano (403 / WAF) |
| Claude-User | Anthropic | blokirano | blokirano (403 / WAF) |
| PerplexityBot | Perplexity | blokirano | blokirano (403 / WAF) |
| Perplexity-User | Perplexity | blokirano | blokirano (403 / WAF) |
| Google-Extended | Google (Gemini-Training) | blokirano | — |
| Googlebot | Google (KI-Übersichten) | dopušteno | blokirano (403 / WAF) |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | blokirano | blokirano (403 / WAF) |
| Bytespider | ByteDance (Doubao) | blokirano | blokirano (403 / WAF) |
| Amazonbot | Amazon (Alexa/Rufus) | dopušteno | blokirano (403 / WAF) |
| Applebot-Extended | Apple (Intelligence-Training) | blokirano | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | blokirano | blokirano (403 / WAF) |
Kako nastaje ocjena?
| AI botovi za pretraživanje blokirani su u robots.txt | -32 |
| Poslužitelj blokira robote iako ih robots.txt dopušta | -12 |
| Vrlo malo teksta u HTML-u | -10 |
| Nema strukturiranih podataka (JSON-LD) | -8 |
| Naslov stranice prekratak ili predug | -6 |
| Nije točno jedan naslov H1 | -5 |
| Meta opis nedostaje ili ne odgovara | -5 |
| Nema llms.txt | -5 |
| Nema signala autora ni autorstva | -4 |
| Nema sameAs poveznica | -3 |
| Nema poveznice na pravne informacije / o nama / kontakt | -3 |
| Nema vidljivog ni označenog datuma | -3 |
| Nema canonical URL-a | -3 |
| Rezultat | 1 / 100 |
Pristup za UI robote
AI botovi za pretraživanje blokirani su u robots.txt
Vaš robots.txt blokira 6 botova koji dohvaćaju sadržaj za odgovore AI asistenata i tražilica: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User. Dok su blokirani, vaša se stranica tamo ne može pojaviti kao izvor.
Ovo biste trebali učiniti: Za svakog bota provjerite je li blokada namjerna. Želite li isključiti samo treniranje AI-ja, blokirajte botove za treniranje (GPTBot, ClaudeBot, Google-Extended) i dopustite botove za pretraživanje.
User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: /
Poslužitelj blokira robote iako ih robots.txt dopušta
Za 2 robota iz Google (KI-Übersichten), Amazon (Alexa/Rufus) robots.txt kaže „dopušteno“, ali poslužitelj odgovara kodom 403 ili stranicom za zaštitu od robota. Obično pravilo WAF-a, vatrozida ili CDN-a koje isključuje robota mimo robots.txt.
Ovo biste trebali učiniti: Dodajte korisničke agente i/ili IP raspone željenih UI robota na popis dopuštenih u svom WAF-u / Cloudflareu / vatrozidu. Provjerite ih putem obrnutog DNS-a, ne samo prema nizu korisničkog agenta.
Treniranje AI-ja isključeno
Vaš robots.txt blokira crawlere koji prikupljaju sadržaj za treniranje jezičnih modela: GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended. To ne sprječava citiranje — botovi za pretraživanje i dohvat poput OAI-SearchBot, PerplexityBot i Googlebota za AI preglede odvojeni su od njih.
Ovo biste trebali učiniti: Ništa za napraviti ako je isključenje namjerno. Samo pazite da botovi za pretraživanje ostanu dopušteni.
Sadržaj bez JavaScripta
Vrlo malo teksta u HTML-u
Početni HTML sadrži samo oko 55 znakova vidljivog teksta. To jedva da je dovoljno da UI sustavi sigurno shvate temu stranice.
Ovo biste trebali učiniti: Osigurajte da je stvarni sadržaj cijeli u HTML-u, a ne u slikama, iframeovima ili blokovima učitanim putem JavaScripta.
Struktura i strojno razumijevanje
Nema strukturiranih podataka (JSON-LD)
Stranica ne sadrži JSON-LD. Strukturirani podaci pomažu UI sustavima da nedvosmisleno prepoznaju entitete, autora, organizaciju, datum i vrstu stranice — bez njih se sve mora nagađati iz teksta.
Ovo biste trebali učiniti: Dodajte barem shemu „Organization“ i jednu koja odgovara vrsti stranice (Article, Product, FAQPage …) kao JSON-LD u <head>.
<script type="application/ld+json">
{"@context":"https://schema.org","@type":"Organization",
"name":"Vaša tvrtka","url":"https://vasa-domena.hr",
"sameAs":["https://www.linkedin.com/company/…"]}
</script>Naslov stranice prekratak ili predug
<title> ima 11 znakova. Razumno je oko 30–60 znakova: dovoljno opisan da imenuje temu, dovoljno kratak da ne bude odrezan.
Ovo biste trebali učiniti: Napišite jezgrovit naslov koji sadrži temu i po potrebi marku.
Nije točno jedan naslov H1
Stranica ima 0 naslova H1. Jedan nedvosmislen H1 govori ljudima i strojevima o čemu je stranica prvenstveno.
Ovo biste trebali učiniti: Postavite točno jedan H1 koji imenuje glavnu temu stranice. Sve ispod počinje od H2.
Meta opis nedostaje ili ne odgovara
Meta opis ima 0 znakova. Često je prvo što UI sustavi i tražilice čitaju kao sažetak stranice.
Ovo biste trebali učiniti: Napišite samostalan sažetak stranice u jednoj ili dvije rečenice (oko 120–200 znakova), ne niz ključnih riječi.
Nema llms.txt
Na /llms.txt nema datoteke. llms.txt je kratak pregled vašeg ključnog sadržaja u Markdownu koji neki UI sustavi koriste za orijentaciju.
Ovo biste trebali učiniti: Napravite /llms.txt: H1 s nazivom, kratak odlomak o ponudi i popis poveznica na središnje stranice.
# Vaša tvrtka > Opis u jednoj rečenici. ## Važne stranice - [Proizvod](https://vasa-domena.hr/proizvod): … - [Cijene](https://vasa-domena.hr/cijene): … - [O nama](https://vasa-domena.hr/o-nama): …
Signali povjerenja i entiteta (E-E-A-T)
Nema signala autora ni autorstva
Nije prepoznatljiv autor (ni meta oznaka, ni rel=author, ni JSON-LD Person). Za „iskustvo“ i „stručnost“ u E-E-A-T smislu vrijedi imenovano, provjerljivo autorstvo.
Ovo biste trebali učiniti: Kod uredničkog sadržaja imenujte autora imenom i povežite stranicu autora; označite ga i kao JSON-LD „Person“.
Nema sameAs poveznica
U JSON-LD nedostaje „sameAs“. Time UI sustavi jasno povezuju vašu marku ili osobu s poznatim entitetima (Wikidata, LinkedIn, strukovni imenici).
Ovo biste trebali učiniti: Dodajte „sameAs“ u Organization ili Person s URL-ovima vaših službenih profila i unosa u imenike.
Nema poveznice na pravne informacije / o nama / kontakt
Na provjerenoj stranici nije prepoznatljiva poveznica na pravne informacije, stranicu „O nama“ ni kontakt. Takve stranice snažan su signal povjerenja i pomažu pri pridruživanju entiteta.
Ovo biste trebali učiniti: Povežite pravne informacije ili „O nama“ i kontakt vidljivo, obično u podnožju svake stranice.
Nema vidljivog ni označenog datuma
Nije prepoznatljiv datum objave ni izmjene (ni <time>, ni article:published_time, ni datePublished u JSON-LD). Kod mnogih pitanja UI sustavi daju prednost aktualnim izvorima.
Ovo biste trebali učiniti: Kod sadržaja s vremenskom vezom prikažite datum vidljivo i označite datePublished / dateModified u JSON-LD.
Tehnička osnova
Nema canonical URL-a
Stranica ne postavlja <link rel="canonical">. Bez canonical može ostati nejasno koja je verzija mjerodavna kad postoji više varijanti URL-a.
Ovo biste trebali učiniti: Postavite na svakoj stranici samoreferencirajući <link rel="canonical"> s preferiranim URL-om.
U redu (3)
- Sitemap je dostupan.
- Brzo vrijeme odgovora poslužitelja.
- Nema noindex — stranica se smije indeksirati.
Sljedeći koraci
- AI botovi za pretraživanje blokirani su u robots.txt. Za svakog bota provjerite je li blokada namjerna. Želite li isključiti samo treniranje AI-ja, blokirajte botove za treniranje (GPTBot, ClaudeBot, Google-Extended) i dopustite botove za pretraživanje.
- Poslužitelj blokira robote iako ih robots.txt dopušta. Dodajte korisničke agente i/ili IP raspone željenih UI robota na popis dopuštenih u svom WAF-u / Cloudflareu / vatrozidu. Provjerite ih putem obrnutog DNS-a, ne samo prema nizu korisničkog agenta.
- Vrlo malo teksta u HTML-u. Osigurajte da je stvarni sadržaj cijeli u HTML-u, a ne u slikama, iframeovima ili blokovima učitanim putem JavaScripta.
Tjedno ponovno skeniranje s e-mail obavijesti pri svakoj promjeni. U pripremi — unesite svoju adresu.
Metoda i granice
Provjereno 24. 09. 2026.. citeglass dohvaća nytimes.com i povezane datoteke (robots.txt, llms.txt, sitemap.xml) putem HTTP-a — jednom kao uobičajeni preglednik, jednom po svakom korisničkom agentu UI robota. JavaScript se ne izvršava. Vrijeme do prvog bajta: 99 ms.
Što ovo nije: Bez praćenja pozicija ili navoda, bez tvrdnje imenuje li vas model doista, i bez provjere sadržaja učitanog putem JavaScripta. Snimka trenutka iz perspektive jednog IP-a poslužitelja.