Baile › Bunachar eolais › seo.cat.crawler

CCBot agus Common Crawl

Tógann Common Crawl cartlann gréasáin atá ar fáil go saor a théann isteach i sonraí oiliúna a lán samhlacha teanga.

Cén fáth a bhfuil CCBot speisialta

Má bhlocálann tú GPTBot agus ClaudeBot amháin, féadann d'ábhar dul isteach i samhlacha fós tríd an tacar sonraí Common Crawl. Ní mór don té a dhiúltaíonn oiliúint go bunúsach CCBot a chur san áireamh.

Blocáil

„User-agent: CCBot“ agus „Disallow: /“ ina dhiaidh. Urramaíonn Common Crawl robots.txt ag an gcéad rith crawl eile; fanann iontrálacha cartlainne atá ann cheana go dtí go mbailítear an tacar sonraí arís.

Meá

Úsáidtear Common Crawl freisin le haghaidh taighde, tionscadal cuardaigh agus cartlannú. Buaileann bac na gcuspóirí sin go léir, ní hamháin oiliúint tráchtála AI.

An riail a sheiceáil

Taispeánann citeglass an gceadaíonn nó an mblocálann do robots.txt CCBot agus an bhfuil an riail sonrach don bhot nó an bhfeidhmíonn sí tríd an mbloc „User-agent: *“ amháin.

Seiceáil do shuíomh féin

Taispeánann citeglass i thart ar 30 soicind cá bhfuil do shuíomh doléite do chórais IS — saor in aisce agus gan logáil isteach.

Léigh tuilleadh

• GPTBot a cheadú nó a bhlocáil
• Gach crawler AI a eisiamh
• Róbónna IS a stiúradh i robots.txt

Faisnéis ghinearálta, ní comhairle dlí. Is réimse óg é GEO — d'fhéadfadh moltaí athrú.