Seiceáilte ar 9/4/2026 · https://www.nytimes.com/
Tá 2 bacainní criticiúla ar inaimsitheacht IS — socraigh iad sin ar dtús.
Maitrís na róbónna IS
Do gach róbó: cad a cheadaíonn do robots.txt — agus cad a sheolann do fhreastalaí ar ais i ndáiríre chuig gníomhaire úsáideora an róbó. Rónna aibhsithe dearg: ceadaíonn robots é, ach bacann an freastalaí é (riail WAF nó cosanta róbónna de ghnáth).
| Róbó | Oibreoir | robots.txt | Freagra an fhreastalaí |
|---|---|---|---|
| GPTBot | OpenAI | bactha | bactha (403 / WAF) |
| OAI-SearchBot | OpenAI | bactha | bactha (403 / WAF) |
| ChatGPT-User | OpenAI | bactha | bactha (403 / WAF) |
| ClaudeBot | Anthropic | bactha | bactha (403 / WAF) |
| Claude-SearchBot | Anthropic | bactha | bactha (403 / WAF) |
| Claude-User | Anthropic | bactha | bactha (403 / WAF) |
| PerplexityBot | Perplexity | bactha | bactha (403 / WAF) |
| Perplexity-User | Perplexity | bactha | bactha (403 / WAF) |
| Google-Extended | Google (Gemini-Training) | bactha | — |
| Googlebot | Google (KI-Übersichten) | ceadaithe | 200 + ábhar |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | bactha | bactha (403 / WAF) |
| Bytespider | ByteDance (Doubao) | bactha | bactha (403 / WAF) |
| Amazonbot | Amazon (Alexa/Rufus) | ceadaithe | bactha (403 / WAF) |
| Applebot-Extended | Apple (Intelligence-Training) | bactha | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | bactha | bactha (403 / WAF) |
Conas a chruthaítear an scór?
| Tá róbónna IS tábhachtacha bactha i robots.txt | -32 |
| Bacann an freastalaí róbónna cé go gceadaíonn robots.txt iad | -6 |
| Teideal an leathanaigh ró-ghearr nó ró-fhada | -6 |
| Gan llms.txt | -5 |
| Gan scéimre Organization | -4 |
| Gan comhartha údair ná údaracht | -4 |
| Gan dáta infheicthe ná marcáilte | -3 |
| Gan marcáil FAQ ná HowTo | -2 |
| Toradh | 38 / 100 |
Rochtain do róbónna IS
Tá róbónna IS tábhachtacha bactha i robots.txt
Cuireann do robots.txt cosc ar rochtain ar 5 róbó IS lárnach: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended. Ní féidir leis na córais sin ansin d'ábhar a lódáil ná é a úsáid mar fhoinse.
Seo a ba chóir duit a dhéanamh: Seiceáil do gach róbó an bhfuil an bac beartaithe. Le haghaidh infheictheachta IS ba chóir GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot agus Google-Extended ar a laghad a bheith ceadaithe.
User-agent: GPTBot Allow: / User-agent: PerplexityBot Allow: /
Bacann an freastalaí róbónna cé go gceadaíonn robots.txt iad
Do 1 róbó ó Amazon (Alexa/Rufus), deir robots.txt „ceadaithe“, ach freagraíonn an freastalaí le 403 nó le leathanach cosanta róbónna. Riail WAF, balla dóiteáin nó CDN de ghnáth a chuireann cosc ar an róbó thar robots.txt.
Seo a ba chóir duit a dhéanamh: Cuir gníomhairí úsáideora agus/nó raonta IP na róbónna IS atá uait le liosta ceadaithe i do WAF / Cloudflare / balla dóiteáin. Fíoraigh iad trí DNS aisiompaithe, ní hamháin de réir teaghrán an ghníomhaire úsáideora.
Struchtúr agus intuisceanacht meaisín
Teideal an leathanaigh ró-ghearr nó ró-fhada
Tá <title> 66 carachtar ar fad. Tá thart ar 30–60 carachtar réasúnta: sách tuairisciúil chun an t-ábhar a ainmniú, sách gearr gan a bheith gearrtha.
Seo a ba chóir duit a dhéanamh: Scríobh teideal gonta ina bhfuil an t-ábhar agus, más gá, an branda.
Gan llms.txt
Níl aon chomhad ag /llms.txt. Is forbhreathnú gearr Markdown ar d'ábhar lárnach é llms.txt a úsáideann roinnt córas IS le haghaidh treoshuímh.
Seo a ba chóir duit a dhéanamh: Cruthaigh /llms.txt: H1 leis an ainm, alt gearr faoin tairiscint agus liosta nasc chuig na leathanaigh lárnacha.
# Do chomhlacht > Cur síos in aon abairt amháin. ## Leathanaigh thábhachtacha - [Táirge](https://do-fhearann.ie/tairge): … - [Praghsanna](https://do-fhearann.ie/praghsanna): … - [Fúinn](https://do-fhearann.ie/fuinn): …
Gan scéimre Organization
Tá JSON-LD ann, ach níl aon iontráil „Organization“. Suíonn córais IS do bhranda ansin níos measa mar aonán ar leith agus nascann siad é níos measa le foinsí seachtracha.
Seo a ba chóir duit a dhéanamh: Cuir scéimre „Organization“ leis le name, url, logo agus sameAs (naisc chuig do phróifílí oifigiúla).
Gan marcáil FAQ ná HowTo
Tá ábhar ceiste-freagra agus céim ar chéim níos deacra do chórais IS a aithint mar fhreagra atá inluaite go díreach gan marcáil FAQPage ná HowTo.
Seo a ba chóir duit a dhéanamh: Áit a bhfreagraíonn an leathanach fíorcheisteanna nó a thugann treoracha, marcáil é mar FAQPage nó HowTo (gan marcáil gan ábhar comhfhreagrach infheicthe).
Comharthaí muiníne agus aonáin (E-E-A-T)
Gan comhartha údair ná údaracht
Níl aon údar inaitheanta (ná meta-chlib, ná rel=author, ná JSON-LD Person). I gciall E-E-A-T le haghaidh „taithí“ agus „saineolais“ tá tábhacht le húdaracht ainmnithe inrianaithe.
Seo a ba chóir duit a dhéanamh: I gcás ábhair eagarthóireachta, ainmnigh údar le hainm agus nasc leathanach údair; marcáil é freisin mar JSON-LD „Person“.
Gan dáta infheicthe ná marcáilte
Níl aon dáta foilsithe ná athraithe inaitheanta (ná <time>, ná article:published_time, ná datePublished sa JSON-LD). I gcás go leor ceisteanna is fearr le córais IS foinsí reatha.
Seo a ba chóir duit a dhéanamh: I gcás ábhair a bhaineann le ham, taispeáin dáta go feiceálach agus marcáil datePublished / dateModified sa JSON-LD.
Ceart go leor (7)
- Tá an príomhábhar sa HTML gan JavaScript.
- Tá sonraí struchtúrtha (JSON-LD) ann. — WebSite, NewsMediaOrganization
- Ceannteideal H1 amháin go díreach.
- Tá URL canonical socraithe.
- Tá an sitemap inrochtana.
- Am freagartha tapa ón bhfreastalaí.
- Gan noindex — is féidir an leathanach a innéacsú.
Na chéad chéimeanna eile
- Tá róbónna IS tábhachtacha bactha i robots.txt. Seiceáil do gach róbó an bhfuil an bac beartaithe. Le haghaidh infheictheachta IS ba chóir GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot agus Google-Extended ar a laghad a bheith ceadaithe.
- Bacann an freastalaí róbónna cé go gceadaíonn robots.txt iad. Cuir gníomhairí úsáideora agus/nó raonta IP na róbónna IS atá uait le liosta ceadaithe i do WAF / Cloudflare / balla dóiteáin. Fíoraigh iad trí DNS aisiompaithe, ní hamháin de réir teaghrán an ghníomhaire úsáideora.
- Teideal an leathanaigh ró-ghearr nó ró-fhada. Scríobh teideal gonta ina bhfuil an t-ábhar agus, más gá, an branda.
Athscanadh seachtainiúil le foláireamh ríomhphoist ag gach athrú. Á ullmhú — iontráil do sheoladh.
Modh agus teorainneacha
Seiceáilte ar 9/4/2026. Íoslódálann citeglass nytimes.com agus na comhaid ghaolmhara (robots.txt, llms.txt, sitemap.xml) trí HTTP — uair amháin mar ghnáthbhrabhsálaí, uair amháin do gach gníomhaire úsáideora róbó IS. Ní ritear JavaScript. Am go dtí an chéad bheart: 235 ms.
Cad nach bhfuil ann: Gan aon rianú suíomhanna ná luanna, gan aon ráiteas an n-ainmníonn múnla thú i ndáiríre, agus gan aon seiceáil ar ábhar a lódáiltear trí JavaScript. Grianghraf ama ó dhearcadh IP freastalaí amháin.