Baile › Bunachar eolais › Bunúsanna
Róbónna IS a stiúradh i robots.txt
Feidhmíonn gach soláthraí mór IS a róbónna féin le hainmneacha gníomhaire úsáideora féin. Trí robots.txt cinneann tú do gach róbó an féidir leis d'ábhar a lódáil.
Na róbónna IS is tábhachtaí
OpenAI: GPTBot (oiliúint), OAI-SearchBot (cuardach ChatGPT), ChatGPT-User (íoslódáil ar iarratas úsáideora). Anthropic: ClaudeBot, Claude-SearchBot, Claude-User. Perplexity: PerplexityBot, Perplexity-User. Google: Google-Extended (oiliúint Gemini) — déantar an íoslódáil iarbhír do fhorbhreathnú IS tríd an ngnáth-Googlebot. Ina theannta sin Common Crawl (CCBot), Amazonbot, Bytespider, Applebot-Extended agus Meta-ExternalAgent.
Ceadú spriocdhírithe
Le haghaidh uasmhéid infheictheachta IS tugann tú bloc féin do na róbónna ábhartha le „Allow: /“. Tábhachtach: cuireann bloc atá sonrach do róbó an bloc „User-agent: *“ ina áit go hiomlán don róbó sin — athdhéan na rialacha disallow riachtanacha ansin.
Eisiamh spriocdhírithe
Má dhiúltaíonn tú don oiliúint ach gur mian leat fanacht infheicthe sa chuardach IS, is féidir leat GPTBot agus Google-Extended a bhac agus OAI-SearchBot agus Googlebot a cheadú. Is cinneadh ábhair é sin, ní cinneadh teicniúil amháin.
Cén fáth nach leor robots.txt go minic
Ceadaíonn go leor suíomhanna róbónna i robots.txt ach bacann siad iad ar leibhéal an fhreastalaí: diúltaíonn riail WAF, „Bot Fight Mode“ Cloudflare nó balla dóiteáin an róbó le 403. Cloíonn an róbó le robots.txt agus mar sin féin ní théann sé isteach. Déanann citeglass an neamhréir sin infheicthe.
Fíorú
Ba chóir róbónna fíoraithe a bheith i liostaí ceadaithe. Foilsíonn OpenAI, Anthropic, Perplexity agus Google raonta IP a róbónna; seiceáil ina theannta sin trí DNS aisiompaithe seachas brath ar theaghrán an ghníomhaire úsáideora amháin.
Seiceáil do shuíomh féin
Taispeánann citeglass i thart ar 30 soicind cá bhfuil do shuíomh doléite do chórais IS — saor in aisce agus gan logáil isteach.
Léigh tuilleadh
Faisnéis ghinearálta, ní comhairle dlí. Is réimse óg é GEO — d'fhéadfadh moltaí athrú.