Avaleht › Teadmusbaas › Teemad

Kõikide tehisintellekti roomajate väljajätmine

Kes soovib sisu põhimõtteliselt tehisintellekti süsteemidest väljas hoida, vajab reegleid iga nimelise boti jaoks — metamärgist ei piisa, kuna paljud botid eiravad seda või ootavad omaenda plokke.

Botide loend

Arvestada tuleb vähemalt: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. Iga boti kohta oma plokk „Disallow: /“-ga.

Mida robots.txt ei suuda

robots.txt on palve, mitte sund. Botid nagu Bytespider või Perplexity on saanud kriitikat selle vältimise eest. Kõvade blokeeringute jaoks lisaks WAF- või tulemüürireeglid user-agent'idele ja, kus võimalik, kontrollitud IP-vahemikele.

Hind

Täielik blokeering võtab su tehisintellekti vastustest allikalingiga välja — seega infootsingu kasvavast osast. Paljude lehtede jaoks on sihitum variant mõistlikum: keela treenimine, luba otsing.

Mõju kontroll

citeglass laadib su lehe iga selle user-agent'iga ja näitab maatriksis, milline bot on robots.txt-i järgi blokeeritud ja kas su server blokeeringut tegelikult jõustab.

Kontrolli oma veebisaiti

citeglass näitab umbes 30 sekundiga, kus sinu veebisait on tehisintellekti süsteemidele loetamatu — tasuta ja ilma sisselogimiseta.

Loe edasi

• Keela treenimine, luba otsing
• Tehisintellekti robotite juhtimine robots.txt-s
• CCBot ja Common Crawl

Üldine teave, mitte õigusnõustamine. GEO on noor valdkond — soovitused võivad muutuda.