Tarkistettu 4.9.2026 · https://www.nytimes.com/
Tekoälyllä löytymiselle on 2 kriittistä estettä — korjaa ne ensin.
Tekoälyrobottien matriisi
Kunkin robotin osalta: mitä robots.txt sallii — ja mitä palvelimesi tosiasiassa palauttaa robotin user agentille. Punaisella korostetut rivit: robots sallii sen, mutta palvelin estää (yleensä WAF- tai bottisuojaussääntö).
| Robotti | Ylläpitäjä | robots.txt | Palvelimen vastaus |
|---|---|---|---|
| GPTBot | OpenAI | estetty | estetty (403 / WAF) |
| OAI-SearchBot | OpenAI | estetty | estetty (403 / WAF) |
| ChatGPT-User | OpenAI | estetty | estetty (403 / WAF) |
| ClaudeBot | Anthropic | estetty | estetty (403 / WAF) |
| Claude-SearchBot | Anthropic | estetty | estetty (403 / WAF) |
| Claude-User | Anthropic | estetty | estetty (403 / WAF) |
| PerplexityBot | Perplexity | estetty | estetty (403 / WAF) |
| Perplexity-User | Perplexity | estetty | estetty (403 / WAF) |
| Google-Extended | Google (Gemini-Training) | estetty | — |
| Googlebot | Google (KI-Übersichten) | sallittu | 200 + sisältö |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | estetty | estetty (403 / WAF) |
| Bytespider | ByteDance (Doubao) | estetty | estetty (403 / WAF) |
| Amazonbot | Amazon (Alexa/Rufus) | sallittu | estetty (403 / WAF) |
| Applebot-Extended | Apple (Intelligence-Training) | estetty | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | estetty | estetty (403 / WAF) |
Miten pistemäärä muodostuu?
| Tärkeät tekoälyrobotit on estetty robots.txt:ssä | -32 |
| Palvelin estää robotteja, vaikka robots.txt sallii ne | -6 |
| Sivun otsikko liian lyhyt tai liian pitkä | -6 |
| Ei llms.txt:ää | -5 |
| Ei Organization-skeemaa | -4 |
| Ei tekijä- tai tekijyyssignaalia | -4 |
| Ei näkyvää tai merkittyä päivämäärää | -3 |
| Ei FAQ- tai HowTo-merkintää | -2 |
| Tulos | 38 / 100 |
Tekoälyrobottien pääsy
Tärkeät tekoälyrobotit on estetty robots.txt:ssä
robots.txt kieltää pääsyn 5 keskeiseltä tekoälyrobotilta: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended. Nämä järjestelmät eivät voi silloin ladata sisältöäsi eivätkä käyttää sitä lähteenä.
Tämä sinun tulisi tehdä: Tarkista roboteittain, onko esto tarkoituksellinen. Tekoälynäkyvyyttä varten ainakin GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot ja Google-Extended tulisi sallia.
User-agent: GPTBot Allow: / User-agent: PerplexityBot Allow: /
Palvelin estää robotteja, vaikka robots.txt sallii ne
1 robotille lähteestä Amazon (Alexa/Rufus) robots.txt sanoo ”sallittu”, mutta palvelin vastaa 403:lla tai bottisuojaussivulla. Yleensä WAF-, palomuuri- tai CDN-sääntö, joka sulkee robotin ulos robots.txt:n ohi.
Tämä sinun tulisi tehdä: Lisää haluttujen tekoälyrobottien user agentit ja/tai IP-alueet sallittujen listalle WAF:ssa / Cloudflaressa / palomuurissa. Varmenna ne käänteisellä DNS:llä, älä pelkän user agent -merkkijonon perusteella.
Rakenne ja koneellinen ymmärrettävyys
Sivun otsikko liian lyhyt tai liian pitkä
<title> on 66 merkkiä pitkä. Noin 30–60 merkkiä on järkevä: riittävän kuvaava aiheen nimeämiseen, riittävän lyhyt jäämättä katkeamatta.
Tämä sinun tulisi tehdä: Kirjoita ytimekäs otsikko, joka sisältää aiheen ja tarvittaessa brändin.
Ei llms.txt:ää
Osoitteessa /llms.txt ei ole tiedostoa. llms.txt on lyhyt Markdown-yleiskatsaus keskeiseen sisältöösi, jota jotkin tekoälyjärjestelmät käyttävät suunnistamiseen.
Tämä sinun tulisi tehdä: Luo /llms.txt: H1 nimellä, lyhyt kappale tarjonnasta ja linkkiluettelo keskeisille sivuille.
# Yrityksesi > Kuvaus yhdellä lauseella. ## Tärkeät sivut - [Tuote](https://oma-verkkotunnuksesi.fi/tuote): … - [Hinnat](https://oma-verkkotunnuksesi.fi/hinnat): … - [Tietoa meistä](https://oma-verkkotunnuksesi.fi/tietoa): …
Ei Organization-skeemaa
JSON-LD:tä on, mutta ei ”Organization”-merkintää. Tekoälyjärjestelmät sijoittavat silloin brändisi huonommin omaksi entiteetikseen ja yhdistävät sen huonommin ulkoisiin lähteisiin.
Tämä sinun tulisi tehdä: Lisää ”Organization”-skeema, jossa name, url, logo ja sameAs (linkit virallisiin profiileihisi).
Ei FAQ- tai HowTo-merkintää
Kysymys-vastaus- ja vaihe vaiheelta -sisältö on tekoälyjärjestelmille vaikeampi tunnistaa suoraan lainattavaksi vastaukseksi ilman FAQPage- tai HowTo-merkintää.
Tämä sinun tulisi tehdä: Kun sivu vastaa aitoihin kysymyksiin tai antaa ohjeita, merkitse se FAQPageksi tai HowToksi (ei merkintää ilman näkyvästi vastaavaa sisältöä).
Luottamus- ja entiteettisignaalit (E-E-A-T)
Ei tekijä- tai tekijyyssignaalia
Tekijää ei ole tunnistettavissa (ei meta-tagia, rel=author- eikä JSON-LD Person -merkintää). ”Kokemuksen” ja ”asiantuntemuksen” kannalta E-E-A-T-mielessä nimetty, jäljitettävä tekijyys on tärkeää.
Tämä sinun tulisi tehdä: Toimituksellisessa sisällössä nimeä tekijä ja linkitä tekijäsivu; merkitse hänet myös JSON-LD:n ”Person”-tyypiksi.
Ei näkyvää tai merkittyä päivämäärää
Julkaisu- tai muokkauspäivämäärää ei ole tunnistettavissa (ei <time>, article:published_time eikä datePublished JSON-LD:ssä). Monissa kysymyksissä tekoälyjärjestelmät suosivat ajantasaisia lähteitä.
Tämä sinun tulisi tehdä: Aikaan sidotussa sisällössä näytä päivämäärä näkyvästi ja merkitse datePublished / dateModified JSON-LD:hen.
Kunnossa (7)
- Pääsisältö on HTML:ssä ilman JavaScriptiä.
- Jäsenneltyjä tietoja (JSON-LD) on olemassa. — WebSite, NewsMediaOrganization
- Tasan yksi H1-otsikko.
- Canonical-URL on asetettu.
- Sivukartta on saavutettavissa.
- Palvelimen nopea vasteaika.
- Ei noindexiä — sivu saa olla indeksoitu.
Seuraavat vaiheet
- Tärkeät tekoälyrobotit on estetty robots.txt:ssä. Tarkista roboteittain, onko esto tarkoituksellinen. Tekoälynäkyvyyttä varten ainakin GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot ja Google-Extended tulisi sallia.
- Palvelin estää robotteja, vaikka robots.txt sallii ne. Lisää haluttujen tekoälyrobottien user agentit ja/tai IP-alueet sallittujen listalle WAF:ssa / Cloudflaressa / palomuurissa. Varmenna ne käänteisellä DNS:llä, älä pelkän user agent -merkkijonon perusteella.
- Sivun otsikko liian lyhyt tai liian pitkä. Kirjoita ytimekäs otsikko, joka sisältää aiheen ja tarvittaessa brändin.
Viikoittainen uudelleenskannaus sähköpostihälytyksellä jokaisesta muutoksesta. Valmisteilla — anna osoitteesi.
Menetelmä ja rajat
Tarkistettu 4.9.2026. citeglass noutaa sivun nytimes.com ja siihen liittyvät tiedostot (robots.txt, llms.txt, sitemap.xml) HTTP:llä — kerran tavallisena selaimena, kerran kutakin tekoälyrobotin user agentia kohti. JavaScriptiä ei suoriteta. Aika ensimmäiseen tavuun: 235 ms.
Mitä tämä ei ole: Ei sijoitusten tai lainausten seurantaa, ei väitettä siitä, nimeääkö malli sinut tosiasiassa, eikä JavaScriptillä ladattavan sisällön tarkistusta. Tilannekuva yhden palvelin-IP:n näkökulmasta.