Baile › Bunachar eolais › Ábhair

Gach crawler AI a eisiamh

An té ar mian leis ábhar a choinneáil amach ó chórais AI go bunúsach, teastaíonn rialacha uaidh do gach bot ainmnithe — ní leor saoróg, mar go ndéanann a lán botanna neamhaird di nó go bhfuil siad ag súil lena mbloic féin.

Liosta na mbotanna

Ní mór na cinn seo ar a laghad a chur san áireamh: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. In aghaidh gach bot a bhloc féin le „Disallow: /“.

Cad nach féidir leis an robots.txt

Is iarratas é an robots.txt, ní éigeantas. Cáineadh botanna ar nós Bytespider nó Perplexity as é a sheachaint. Do bhlocálacha crua, rialacha WAF nó balla dóiteáin ar na user-agents freisin agus, nuair is féidir, ar raonta IP fíoraithe.

An praghas

Baineann bac iomlán amach thú ó fhreagraí AI le nasc foinse — is é sin, ó chuid atá ag fás den chuardach faisnéise. Do go leor leathanach, tá an leagan níos spriocdhírithe níos ciallmhaire: cros oiliúint, ceadaigh cuardach.

An éifeacht a sheiceáil

Faigheann citeglass do leathanach le gach ceann de na user-agents seo agus taispeánann sé i maitrís cé acu bot atá blocáilte de réir robots.txt agus an bhforfheidhmíonn do fhreastalaí an bac i ndáiríre.

Seiceáil do shuíomh féin

Taispeánann citeglass i thart ar 30 soicind cá bhfuil do shuíomh doléite do chórais IS — saor in aisce agus gan logáil isteach.

Léigh tuilleadh

• Cros oiliúint, ceadaigh cuardach
• Róbónna IS a stiúradh i robots.txt
• CCBot agus Common Crawl

Faisnéis ghinearálta, ní comhairle dlí. Is réimse óg é GEO — d'fhéadfadh moltaí athrú.