Provjereno 04. 09. 2026. · https://www.nytimes.com/
Postoji 2 kritičnih blokada za pronalaženje putem UI — riješite ih prve.
Matrica UI robota
Za svakog robota: što dopušta vaš robots.txt — i što vaš poslužitelj zapravo vraća korisničkom agentu robota. Crveno označeni redovi: robots to dopušta, ali poslužitelj blokira (obično pravilo WAF-a ili zaštite od robota).
| Robot | Operator | robots.txt | Odgovor poslužitelja |
|---|---|---|---|
| GPTBot | OpenAI | blokirano | blokirano (403 / WAF) |
| OAI-SearchBot | OpenAI | blokirano | blokirano (403 / WAF) |
| ChatGPT-User | OpenAI | blokirano | blokirano (403 / WAF) |
| ClaudeBot | Anthropic | blokirano | blokirano (403 / WAF) |
| Claude-SearchBot | Anthropic | blokirano | blokirano (403 / WAF) |
| Claude-User | Anthropic | blokirano | blokirano (403 / WAF) |
| PerplexityBot | Perplexity | blokirano | blokirano (403 / WAF) |
| Perplexity-User | Perplexity | blokirano | blokirano (403 / WAF) |
| Google-Extended | Google (Gemini-Training) | blokirano | — |
| Googlebot | Google (KI-Übersichten) | dopušteno | 200 + sadržaj |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | blokirano | blokirano (403 / WAF) |
| Bytespider | ByteDance (Doubao) | blokirano | blokirano (403 / WAF) |
| Amazonbot | Amazon (Alexa/Rufus) | dopušteno | blokirano (403 / WAF) |
| Applebot-Extended | Apple (Intelligence-Training) | blokirano | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | blokirano | blokirano (403 / WAF) |
Kako nastaje ocjena?
| Važni UI roboti blokirani su u robots.txt | -32 |
| Poslužitelj blokira robote iako ih robots.txt dopušta | -6 |
| Naslov stranice prekratak ili predug | -6 |
| Nema llms.txt | -5 |
| Nema sheme Organization | -4 |
| Nema signala autora ni autorstva | -4 |
| Nema vidljivog ni označenog datuma | -3 |
| Nema FAQ ili HowTo oznaka | -2 |
| Rezultat | 38 / 100 |
Pristup za UI robote
Važni UI roboti blokirani su u robots.txt
Vaš robots.txt zabranjuje pristup 5 ključnim UI robotima: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended. Ti sustavi tada ne mogu učitati vaš sadržaj niti ga koristiti kao izvor.
Ovo biste trebali učiniti: Provjerite po robotu je li blokada namjerna. Za vidljivost putem UI trebali bi biti dopušteni barem GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot i Google-Extended.
User-agent: GPTBot Allow: / User-agent: PerplexityBot Allow: /
Poslužitelj blokira robote iako ih robots.txt dopušta
Za 1 robota iz Amazon (Alexa/Rufus) robots.txt kaže „dopušteno“, ali poslužitelj odgovara kodom 403 ili stranicom za zaštitu od robota. Obično pravilo WAF-a, vatrozida ili CDN-a koje isključuje robota mimo robots.txt.
Ovo biste trebali učiniti: Dodajte korisničke agente i/ili IP raspone željenih UI robota na popis dopuštenih u svom WAF-u / Cloudflareu / vatrozidu. Provjerite ih putem obrnutog DNS-a, ne samo prema nizu korisničkog agenta.
Struktura i strojno razumijevanje
Naslov stranice prekratak ili predug
<title> ima 66 znakova. Razumno je oko 30–60 znakova: dovoljno opisan da imenuje temu, dovoljno kratak da ne bude odrezan.
Ovo biste trebali učiniti: Napišite jezgrovit naslov koji sadrži temu i po potrebi marku.
Nema llms.txt
Na /llms.txt nema datoteke. llms.txt je kratak pregled vašeg ključnog sadržaja u Markdownu koji neki UI sustavi koriste za orijentaciju.
Ovo biste trebali učiniti: Napravite /llms.txt: H1 s nazivom, kratak odlomak o ponudi i popis poveznica na središnje stranice.
# Vaša tvrtka > Opis u jednoj rečenici. ## Važne stranice - [Proizvod](https://vasa-domena.hr/proizvod): … - [Cijene](https://vasa-domena.hr/cijene): … - [O nama](https://vasa-domena.hr/o-nama): …
Nema sheme Organization
JSON-LD postoji, ali nema unosa „Organization“. UI sustavi tada slabije smještaju vašu marku kao zaseban entitet i slabije je povezuju s vanjskim izvorima.
Ovo biste trebali učiniti: Dodajte shemu „Organization“ s name, url, logo i sameAs (poveznice na vaše službene profile).
Nema FAQ ili HowTo oznaka
Sadržaj tipa pitanje-odgovor i korak po korak UI sustavima je bez FAQPage ili HowTo oznaka teže prepoznati kao izravno citljiv odgovor.
Ovo biste trebali učiniti: Gdje stranica odgovara na prava pitanja ili daje upute, označite je kao FAQPage ili HowTo (bez oznaka bez vidljivo odgovarajućeg sadržaja).
Signali povjerenja i entiteta (E-E-A-T)
Nema signala autora ni autorstva
Nije prepoznatljiv autor (ni meta oznaka, ni rel=author, ni JSON-LD Person). Za „iskustvo“ i „stručnost“ u E-E-A-T smislu vrijedi imenovano, provjerljivo autorstvo.
Ovo biste trebali učiniti: Kod uredničkog sadržaja imenujte autora imenom i povežite stranicu autora; označite ga i kao JSON-LD „Person“.
Nema vidljivog ni označenog datuma
Nije prepoznatljiv datum objave ni izmjene (ni <time>, ni article:published_time, ni datePublished u JSON-LD). Kod mnogih pitanja UI sustavi daju prednost aktualnim izvorima.
Ovo biste trebali učiniti: Kod sadržaja s vremenskom vezom prikažite datum vidljivo i označite datePublished / dateModified u JSON-LD.
U redu (7)
- Glavni sadržaj je u HTML-u bez JavaScripta.
- Strukturirani podaci (JSON-LD) su prisutni. — WebSite, NewsMediaOrganization
- Točno jedan naslov H1.
- Postavljen je canonical URL.
- Sitemap je dostupan.
- Brzo vrijeme odgovora poslužitelja.
- Nema noindex — stranica se smije indeksirati.
Sljedeći koraci
- Važni UI roboti blokirani su u robots.txt. Provjerite po robotu je li blokada namjerna. Za vidljivost putem UI trebali bi biti dopušteni barem GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot i Google-Extended.
- Poslužitelj blokira robote iako ih robots.txt dopušta. Dodajte korisničke agente i/ili IP raspone željenih UI robota na popis dopuštenih u svom WAF-u / Cloudflareu / vatrozidu. Provjerite ih putem obrnutog DNS-a, ne samo prema nizu korisničkog agenta.
- Naslov stranice prekratak ili predug. Napišite jezgrovit naslov koji sadrži temu i po potrebi marku.
Tjedno ponovno skeniranje s e-mail obavijesti pri svakoj promjeni. U pripremi — unesite svoju adresu.
Metoda i granice
Provjereno 04. 09. 2026.. citeglass dohvaća nytimes.com i povezane datoteke (robots.txt, llms.txt, sitemap.xml) putem HTTP-a — jednom kao uobičajeni preglednik, jednom po svakom korisničkom agentu UI robota. JavaScript se ne izvršava. Vrijeme do prvog bajta: 235 ms.
Što ovo nije: Bez praćenja pozicija ili navoda, bez tvrdnje imenuje li vas model doista, i bez provjere sadržaja učitanog putem JavaScripta. Snimka trenutka iz perspektive jednog IP-a poslužitelja.