Il-bidu › Bażi ta' għarfien › Bażiku

Il-kontroll tar-robots tal-IA f'robots.txt

Kull fornitur kbir tal-IA jħaddem ir-robots tiegħu stess b'ismijiet ta' user agent tiegħu stess. Permezz ta' robots.txt tiddeċiedi għal kull robot jekk jistax itella' l-kontenut tiegħek.

L-aktar robots importanti tal-IA

OpenAI: GPTBot (taħriġ), OAI-SearchBot (tiftix ta' ChatGPT), ChatGPT-User (tniżżil fuq talba tal-utent). Anthropic: ClaudeBot, Claude-SearchBot, Claude-User. Perplexity: PerplexityBot, Perplexity-User. Google: Google-Extended (taħriġ ta' Gemini) — it-tniżżil attwali għall-ħarsiet ġenerali tal-IA jsir permezz tal-Googlebot normali. Barra minn hekk Common Crawl (CCBot), Amazonbot, Bytespider, Applebot-Extended u Meta-ExternalAgent.

Permess immirat

Għall-massimu ta' viżibbiltà tal-IA tagħti lir-robots rilevanti blokk tagħhom stess b'„Allow: /“. Importanti: blokk speċifiku għal robot jissostitwixxi kompletament il-blokk „User-agent: *“ għal dak ir-robot — irrepeti hemmhekk ir-regoli disallow meħtieġa.

Esklużjoni mmirata

Jekk tirrifjuta t-taħriġ iżda trid tibqa' viżibbli fit-tiftix tal-IA, tista' timblokka GPTBot u Google-Extended u tippermetti OAI-SearchBot u Googlebot. Din hija deċiżjoni ta' kontenut, mhux waħda purament teknika.

Għaliex robots.txt spiss mhux biżżejjed

Ħafna siti jippermettu r-robots f'robots.txt iżda jimblukkawhom fuq il-livell tas-server: regola ta' WAF, „Bot Fight Mode“ ta' Cloudflare jew firewall jirrifjuta r-robot b'403. Ir-robot jimxi mar-robots.txt u xorta ma jidħolx. citeglass jagħmel din id-diskrepanza viżibbli.

Verifika

Il-listi ta' permessi għandhom ikun fihom robots verifikati. OpenAI, Anthropic, Perplexity u Google jippubblikaw il-firxiet ta' IP tar-robots tagħhom; iċċekkja barra minn hekk permezz ta' DNS invers minflok toqgħod biss fuq l-istring tal-user agent.

Iċċekkja s-sit tiegħek stess

citeglass juri f'madwar 30 sekonda fejn is-sit tiegħek mhux leġġibbli għas-sistemi tal-IA — b'xejn u mingħajr login.

Kompli aqra

Informazzjoni ġenerali, mhux parir legali. GEO huwa qasam żagħżugħ — ir-rakkomandazzjonijiet jistgħu jinbidlu.