Il-bidu › Bażi ta' għarfien › Suġġetti

Timblokka l-crawlers tal-IA kollha

Min fil-prinċipju jrid iżomm il-kontenut barra mis-sistemi tal-IA jeħtieġ regoli għal kull bot imsemmi — wildcard mhux biżżejjed, għax ħafna bots jinjorawh jew jistennew blokki tagħhom stess.

Il-lista tal-bots

Trid tqis mill-inqas: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. Għal kull bot blokk tiegħu stess b'"Disallow: /".

X'ma jistax jagħmel ir-robots.txt

ir-robots.txt huwa talba, mhux obbligu. Bots bħal Bytespider jew Perplexity ġew ikkritikati talli jevitawh. Għal imblukkar iebes addizzjonalment regoli WAF jew firewall fuq l-user-agents u, fejn possibbli, fuq meded tal-IP verifikati.

Il-prezz

Imblukkar sħiħ ineħħik mit-tweġibiet tal-IA b'link tas-sors — jiġifieri minn parti dejjem tikber tat-tfittxija tal-informazzjoni. Għal ħafna siti l-varjant aktar immirat huwa aktar sensibbli: ipprojbixxi t-taħriġ, ippermetti t-tfittxija.

Iċċekkja l-effett

citeglass iġib il-paġna tiegħek b'kull wieħed minn dawn l-user-agents u juri f'matriċi liema bot huwa mblukkat skont ir-robots.txt u jekk is-server tiegħek jinfurzax l-imblukkar tabilħaqq.

Iċċekkja s-sit tiegħek stess

citeglass juri f'madwar 30 sekonda fejn is-sit tiegħek mhux leġġibbli għas-sistemi tal-IA — b'xejn u mingħajr login.

Kompli aqra

• Ipprojbixxi t-taħriġ, ippermetti t-tfittxija
• Il-kontroll tar-robots tal-IA f'robots.txt
• CCBot u Common Crawl

Informazzjoni ġenerali, mhux parir legali. GEO huwa qasam żagħżugħ — ir-rakkomandazzjonijiet jistgħu jinbidlu.