Iċċekkjat fil-9/4/2026 · https://www.nytimes.com/
Hemm 2 imblukki kritiċi għall-issibjabbiltà mill-IA — sewwihom l-ewwel.
Matriċi tar-robots tal-IA
Għal kull robot: x'jippermetti r-robots.txt tiegħek — u x'jirritorna verament is-server tiegħek lill-user agent tar-robot. Ringieli enfasizzati bl-aħmar: robots jippermettih, iżda s-server jimblukkah (normalment regola ta' WAF jew ta' protezzjoni mir-robots).
| Robot | Operatur | robots.txt | Tweġiba tas-server |
|---|---|---|---|
| GPTBot | OpenAI | imblukkat | imblukkat (403 / WAF) |
| OAI-SearchBot | OpenAI | imblukkat | imblukkat (403 / WAF) |
| ChatGPT-User | OpenAI | imblukkat | imblukkat (403 / WAF) |
| ClaudeBot | Anthropic | imblukkat | imblukkat (403 / WAF) |
| Claude-SearchBot | Anthropic | imblukkat | imblukkat (403 / WAF) |
| Claude-User | Anthropic | imblukkat | imblukkat (403 / WAF) |
| PerplexityBot | Perplexity | imblukkat | imblukkat (403 / WAF) |
| Perplexity-User | Perplexity | imblukkat | imblukkat (403 / WAF) |
| Google-Extended | Google (Gemini-Training) | imblukkat | — |
| Googlebot | Google (KI-Übersichten) | permess | 200 + kontenut |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | imblukkat | imblukkat (403 / WAF) |
| Bytespider | ByteDance (Doubao) | imblukkat | imblukkat (403 / WAF) |
| Amazonbot | Amazon (Alexa/Rufus) | permess | imblukkat (403 / WAF) |
| Applebot-Extended | Apple (Intelligence-Training) | imblukkat | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | imblukkat | imblukkat (403 / WAF) |
Kif jinħoloq il-punteġġ?
| Robots tal-IA importanti huma mblukkati f'robots.txt | -32 |
| Is-server jimblokka robots minkejja li robots.txt jippermettihom | -6 |
| It-titlu tal-paġna qasir wisq jew twil wisq | -6 |
| L-ebda llms.txt | -5 |
| L-ebda skema Organization | -4 |
| L-ebda sinjal ta' awtur jew ta' awtorat | -4 |
| L-ebda data viżibbli jew immarkata | -3 |
| L-ebda mmarkar FAQ jew HowTo | -2 |
| Riżultat | 38 / 100 |
Aċċess għar-robots tal-IA
Robots tal-IA importanti huma mblukkati f'robots.txt
Ir-robots.txt tiegħek jipprojbixxi l-aċċess lil 5 robots ċentrali tal-IA: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended. Dawn is-sistemi mbagħad ma jistgħux itellgħu l-kontenut tiegħek u lanqas jużawh bħala sors.
Dan għandek tagħmel: Iċċekkja għal kull robot jekk l-imblukkar huwiex intenzjonat. Għall-viżibbiltà tal-IA għandhom ikunu permessi mill-inqas GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot u Google-Extended.
User-agent: GPTBot Allow: / User-agent: PerplexityBot Allow: /
Is-server jimblokka robots minkejja li robots.txt jippermettihom
Għal 1 robot minn Amazon (Alexa/Rufus), robots.txt jgħid „permess“, iżda s-server iwieġeb b'403 jew b'paġna ta' protezzjoni mir-robots. Normalment regola ta' WAF, firewall jew CDN li teskludi r-robot billi tevita r-robots.txt.
Dan għandek tagħmel: Żid l-user agents u/jew il-firxiet ta' IP tar-robots tal-IA mixtieqa ma' lista ta' permessi fil-WAF / Cloudflare / firewall tiegħek. Ivverifikahom permezz ta' DNS invers, mhux biss skont l-istring tal-user agent.
Struttura u fehim mill-magna
It-titlu tal-paġna qasir wisq jew twil wisq
It-<title> huwa 66 karattri twil. Raġonevoli huwa madwar 30–60 karattru: deskrittiv biżżejjed biex isemmi s-suġġett, qasir biżżejjed biex ma jiġix maqtugħ.
Dan għandek tagħmel: Ikteb titlu konċiż li fih is-suġġett u, jekk ikun meħtieġ, il-marka.
L-ebda llms.txt
F'/llms.txt m'hemmx fajl. llms.txt huwa ħarsa ġenerali qasira f'Markdown tal-kontenut ċentrali tiegħek li ċerti sistemi tal-IA jużaw għall-orjentazzjoni.
Dan għandek tagħmel: Oħloq /llms.txt: H1 bl-isem, paragrafu qasir dwar l-offerta u lista ta' links għall-paġni ċentrali.
# Il-kumpanija tiegħek > Deskrizzjoni f'sentenza waħda. ## Paġni importanti - [Prodott](https://id-dominju-tieghek.mt/prodott): … - [Prezzijiet](https://id-dominju-tieghek.mt/prezzijiet): … - [Dwarna](https://id-dominju-tieghek.mt/dwarna): …
L-ebda skema Organization
Hemm JSON-LD, iżda l-ebda daħla „Organization“. Is-sistemi tal-IA mbagħad jpoġġu l-marka tiegħek agħar bħala entità distinta u jorbtuha agħar ma' sorsi esterni.
Dan għandek tagħmel: Żid skema „Organization“ b'name, url, logo u sameAs (links għall-profili uffiċjali tiegħek).
L-ebda mmarkar FAQ jew HowTo
Il-kontenut ta' mistoqsija-tweġiba u pass pass huwa aktar diffiċli għas-sistemi tal-IA biex jagħrfuh bħala tweġiba direttament ċitabbli mingħajr immarkar FAQPage jew HowTo.
Dan għandek tagħmel: Fejn il-paġna twieġeb mistoqsijiet reali jew tagħti struzzjonijiet, immarkaha bħala FAQPage jew HowTo (l-ebda mmarkar mingħajr kontenut viżibbilment korrispondenti).
Sinjali ta' fiduċja u ta' entità (E-E-A-T)
L-ebda sinjal ta' awtur jew ta' awtorat
Ma jista' jiġi identifikat l-ebda awtur (la meta tag, la rel=author, u lanqas JSON-LD Person). Għall-„esperjenza“ u l-„għarfien espert“ fis-sens E-E-A-T jgħodd awtorat imsemmi u rintraċċabbli.
Dan għandek tagħmel: Għall-kontenut editorjali semmi awtur b'ismu u orbot paġna tal-awtur; immarkah ukoll bħala JSON-LD „Person“.
L-ebda data viżibbli jew immarkata
Ma tista' tiġi identifikata l-ebda data ta' pubblikazzjoni jew ta' modifika (la <time>, la article:published_time, u lanqas datePublished fil-JSON-LD). Għal ħafna mistoqsijiet is-sistemi tal-IA jippreferu sorsi attwali.
Dan għandek tagħmel: Għall-kontenut b'rabta maż-żmien uri data b'mod viżibbli u immarka datePublished / dateModified fil-JSON-LD.
Sew (7)
- Il-kontenut prinċipali huwa fl-HTML mingħajr JavaScript.
- Hemm data strutturata (JSON-LD). — WebSite, NewsMediaOrganization
- Eżattament intestatura H1 waħda.
- Hemm URL canonical stabbilit.
- Is-sitemap huwa aċċessibbli.
- Ħin ta' tweġiba mgħaġġel mis-server.
- L-ebda noindex — il-paġna tista' tiġi indiċjata.
Il-passi li jmiss
- Robots tal-IA importanti huma mblukkati f'robots.txt. Iċċekkja għal kull robot jekk l-imblukkar huwiex intenzjonat. Għall-viżibbiltà tal-IA għandhom ikunu permessi mill-inqas GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot u Google-Extended.
- Is-server jimblokka robots minkejja li robots.txt jippermettihom. Żid l-user agents u/jew il-firxiet ta' IP tar-robots tal-IA mixtieqa ma' lista ta' permessi fil-WAF / Cloudflare / firewall tiegħek. Ivverifikahom permezz ta' DNS invers, mhux biss skont l-istring tal-user agent.
- It-titlu tal-paġna qasir wisq jew twil wisq. Ikteb titlu konċiż li fih is-suġġett u, jekk ikun meħtieġ, il-marka.
Skennjar mill-ġdid ġimgħatni b'twissija bl-email ma' kull bidla. Fil-preparazzjoni — daħħal l-indirizz tiegħek.
Metodu u limiti
Iċċekkjat fil-9/4/2026. citeglass iniżżel nytimes.com u l-fajls relatati (robots.txt, llms.txt, sitemap.xml) permezz ta' HTTP — darba bħala browser normali, darba għal kull user agent ta' robot tal-IA. Ma jiġix imħaddem JavaScript. Ħin sal-ewwel byte: 235 ms.
X'mhuwiex dan: L-ebda traċċar ta' pożizzjonijiet jew ta' ċitazzjonijiet, l-ebda dikjarazzjoni jekk mudell isemmikx verament, u l-ebda kontroll ta' kontenut mgħobbi permezz ta' JavaScript. Ritratt tal-mument mill-perspettiva ta' IP wieħed tas-server.