Gecontroleerd op 24-9-2026 · https://www.nytimes.com/
Er zijn 2 kritieke blokkades voor AI-vindbaarheid — los die eerst op.
3 scans van deze website, score -37 sinds de eerste scan. Met monitoring controleert citeglass de site automatisch elke week en waarschuwt als er iets misgaat — meld je aan om bericht te krijgen bij de lancering.
AI-crawlermatrix
Per bot: wat je robots.txt toestaat — en wat je server daadwerkelijk teruggeeft aan de user agent van de bot. Rood gemarkeerde rijen: robots staat het toe, maar de server blokkeert het (meestal een WAF- of botbeschermingsregel).
| Bot | Beheerder | robots.txt | Serverreactie |
|---|---|---|---|
| GPTBot | OpenAI | geblokkeerd | geblokkeerd (403 / WAF) |
| OAI-SearchBot | OpenAI | geblokkeerd | geblokkeerd (403 / WAF) |
| ChatGPT-User | OpenAI | geblokkeerd | geblokkeerd (403 / WAF) |
| ClaudeBot | Anthropic | geblokkeerd | geblokkeerd (403 / WAF) |
| Claude-SearchBot | Anthropic | geblokkeerd | geblokkeerd (403 / WAF) |
| Claude-User | Anthropic | geblokkeerd | geblokkeerd (403 / WAF) |
| PerplexityBot | Perplexity | geblokkeerd | geblokkeerd (403 / WAF) |
| Perplexity-User | Perplexity | geblokkeerd | geblokkeerd (403 / WAF) |
| Google-Extended | Google (Gemini-Training) | geblokkeerd | — |
| Googlebot | Google (KI-Übersichten) | toegestaan | geblokkeerd (403 / WAF) |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | geblokkeerd | geblokkeerd (403 / WAF) |
| Bytespider | ByteDance (Doubao) | geblokkeerd | geblokkeerd (403 / WAF) |
| Amazonbot | Amazon (Alexa/Rufus) | toegestaan | geblokkeerd (403 / WAF) |
| Applebot-Extended | Apple (Intelligence-Training) | geblokkeerd | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | geblokkeerd | geblokkeerd (403 / WAF) |
Hoe komt de score tot stand?
| AI-zoekbots zijn geblokkeerd in robots.txt | -32 |
| Server blokkeert bots hoewel robots.txt ze toestaat | -12 |
| Zeer weinig tekst in de HTML | -10 |
| Geen gestructureerde data (JSON-LD) | -8 |
| Paginatitel te kort of te lang | -6 |
| Niet precies één H1-kop | -5 |
| Metabeschrijving ontbreekt of past niet | -5 |
| Geen llms.txt | -5 |
| Geen auteurs- of auteurschapssignaal | -4 |
| Geen sameAs-koppelingen | -3 |
| Geen link naar colofon / over ons / contact | -3 |
| Geen zichtbare of gemarkeerde datum | -3 |
| Geen canonieke URL | -3 |
| Resultaat | 1 / 100 |
Toegang voor AI-crawlers
AI-zoekbots zijn geblokkeerd in robots.txt
Je robots.txt blokkeert 6 bots die content ophalen voor antwoorden in AI-assistenten en zoekmachines: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User. Zolang ze geblokkeerd zijn, kan je site daar niet als bron verschijnen.
Dit zou je moeten doen: Controleer per bot of de blokkade bedoeld is. Wil je alleen AI-training uitsluiten, blokkeer dan de trainingsbots (GPTBot, ClaudeBot, Google-Extended) en sta de zoekbots toe.
User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: /
Server blokkeert bots hoewel robots.txt ze toestaat
Voor 2 bot(s) van Google (KI-Übersichten), Amazon (Alexa/Rufus) zegt robots.txt 'toegestaan', maar de server antwoordt met een 403 of een botbeschermingspagina. Meestal een WAF-, firewall- of CDN-regel die de crawler buiten robots.txt om buitensluit.
Dit zou je moeten doen: Zet de user agents en/of IP-bereiken van de gewenste AI-crawlers op een toelatingslijst in je WAF / Cloudflare / firewall. Verifieer ze via reverse-DNS, niet alleen via de user-agentstring.
Inhoud zonder JavaScript
Zeer weinig tekst in de HTML
De initiële HTML bevat maar ongeveer 55 tekens zichtbare tekst. Dat is nauwelijks genoeg voor AI-systemen om het onderwerp van de pagina met zekerheid te vatten.
Dit zou je moeten doen: Zorg dat de eigenlijke inhoud volledig in de HTML staat en niet in afbeeldingen, iframes of via JavaScript geladen blokken.
Structuur en machinaal begrip
Geen gestructureerde data (JSON-LD)
De pagina bevat geen JSON-LD. Gestructureerde data helpt AI-systemen om entiteiten, auteur, organisatie, datum en paginatype eenduidig te herkennen — zonder moet alles uit de lopende tekst worden geraden.
Dit zou je moeten doen: Voeg minstens een 'Organization'-schema toe en een schema dat bij het paginatype past (Article, Product, FAQPage …) als JSON-LD in de <head>.
<script type="application/ld+json">
{"@context":"https://schema.org","@type":"Organization",
"name":"Jouw bedrijf","url":"https://jouw-domein.nl",
"sameAs":["https://www.linkedin.com/company/…"]}
</script>Paginatitel te kort of te lang
De <title> is 11 tekens lang. Ongeveer 30–60 tekens is zinvol: beschrijvend genoeg om het onderwerp te benoemen, kort genoeg om niet afgekapt te worden.
Dit zou je moeten doen: Schrijf een bondige titel met het onderwerp en, indien relevant, het merk.
Niet precies één H1-kop
De pagina heeft 0 H1-koppen. Eén eenduidige H1 vertelt mens en machine waar de pagina primair over gaat.
Dit zou je moeten doen: Stel precies één H1 in die het hoofdonderwerp van de pagina benoemt. Alles daaronder begint bij H2.
Metabeschrijving ontbreekt of past niet
De metabeschrijving is 0 tekens lang. Het is vaak het eerste dat AI-systemen en zoekmachines lezen als samenvatting van de pagina.
Dit zou je moeten doen: Schrijf een op zichzelf staande samenvatting van de pagina in een of twee zinnen (ongeveer 120–200 tekens), geen rij trefwoorden.
Geen llms.txt
Er staat geen bestand op /llms.txt. llms.txt is een kort Markdown-overzicht van je belangrijkste inhoud dat sommige AI-systemen gebruiken om zich te oriënteren.
Dit zou je moeten doen: Maak een /llms.txt: een H1 met de naam, een korte alinea over het aanbod en een lijst met links naar de centrale pagina's.
# Jouw bedrijf > Beschrijving in één zin. ## Belangrijke pagina's - [Product](https://jouw-domein.nl/product): … - [Prijzen](https://jouw-domein.nl/prijzen): … - [Over ons](https://jouw-domein.nl/over-ons): …
Vertrouwens- en entiteitssignalen (E-E-A-T)
Geen auteurs- of auteurschapssignaal
Er is geen auteur herkenbaar (geen metatag, geen rel=author, geen JSON-LD Person). Voor 'ervaring' en 'expertise' in E-E-A-T-zin telt een genoemd, navolgbaar auteurschap.
Dit zou je moeten doen: Noem bij redactionele inhoud een auteur met naam en link een auteurspagina; markeer die ook als JSON-LD 'Person'.
Geen sameAs-koppelingen
In de JSON-LD ontbreekt 'sameAs'. Daarmee koppelen AI-systemen je merk of persoon duidelijk aan bekende entiteiten (Wikidata, LinkedIn, branchegidsen).
Dit zou je moeten doen: Voeg in Organization of Person een 'sameAs' toe met de URL's van je officiële profielen en gidsvermeldingen.
Geen link naar colofon / over ons / contact
Op de gecontroleerde pagina is geen link naar een colofon, 'Over ons' of contact herkenbaar. Zulke pagina's zijn een sterk vertrouwenssignaal en helpen bij entiteitskoppeling.
Dit zou je moeten doen: Link het colofon of 'Over ons' en contact goed zichtbaar, meestal in de voettekst van elke pagina.
Geen zichtbare of gemarkeerde datum
Er is geen publicatie- of wijzigingsdatum herkenbaar (geen <time>, geen article:published_time, geen datePublished in de JSON-LD). Bij veel vragen geven AI-systemen de voorkeur aan actuele bronnen.
Dit zou je moeten doen: Toon bij inhoud met een tijdsaspect een datum zichtbaar en markeer datePublished / dateModified in de JSON-LD.
Technische basis
Geen canonieke URL
De pagina stelt geen <link rel="canonical"> in. Zonder canonical kan onduidelijk blijven welke versie leidend is als er meerdere URL-varianten bestaan.
Dit zou je moeten doen: Stel op elke pagina een zelfverwijzende <link rel="canonical"> in met de voorkeurs-URL.
In orde (3)
- De sitemap is bereikbaar.
- Snelle reactietijd van de server.
- Geen noindex — de pagina mag geïndexeerd worden.
Volgende stappen
- AI-zoekbots zijn geblokkeerd in robots.txt. Controleer per bot of de blokkade bedoeld is. Wil je alleen AI-training uitsluiten, blokkeer dan de trainingsbots (GPTBot, ClaudeBot, Google-Extended) en sta de zoekbots toe.
- Server blokkeert bots hoewel robots.txt ze toestaat. Zet de user agents en/of IP-bereiken van de gewenste AI-crawlers op een toelatingslijst in je WAF / Cloudflare / firewall. Verifieer ze via reverse-DNS, niet alleen via de user-agentstring.
- Zeer weinig tekst in de HTML. Zorg dat de eigenlijke inhoud volledig in de HTML staat en niet in afbeeldingen, iframes of via JavaScript geladen blokken.
Methode en grenzen
Gecontroleerd op 24-9-2026. citeglass haalt nytimes.com en de bijbehorende bestanden (robots.txt, llms.txt, sitemap.xml) via HTTP op — één keer als gewone browser, één keer per user agent van een AI-crawler. Er wordt geen JavaScript uitgevoerd. Tijd tot eerste byte: 123 ms.
Wat dit niet is: Geen positie- of citatiemonitoring, geen uitspraak of een model je daadwerkelijk noemt, en geen controle van inhoud die via JavaScript wordt geladen. Een momentopname vanuit het perspectief van één server-IP.