Početna › Baza znanja › Teme

Isključivanje svih AI crawlera

Tko načelno želi držati sadržaj izvan AI sustava, treba pravila za svaki imenovani bot — zamjenski znak nije dovoljan jer ga mnogi botovi ignoriraju ili očekuju vlastite blokove.

Popis botova

Treba uzeti u obzir barem: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. Za svaki bot vlastiti blok s „Disallow: /“.

Što robots.txt ne može

robots.txt je molba, ne prisila. Botovi poput Bytespidera ili Perplexityja bili su kritizirani zbog zaobilaženja. Za tvrde blokade dodatno pravila WAF-a ili vatrozida na user-agente i, gdje je moguće, na provjerene IP raspone.

Cijena

Potpuna blokada izuzima te iz AI odgovora s poveznicom na izvor — dakle iz rastućeg dijela pretraživanja informacija. Za mnoge stranice ciljanija je varijanta razumnija: zabraniti treniranje, dopustiti pretraživanje.

Provjera učinka

citeglass dohvaća tvoju stranicu sa svakim od ovih user-agenata i pokazuje u matrici koji je bot blokiran prema robots.txt i provodi li tvoj poslužitelj blokadu doista.

Provjerite vlastitu stranicu

citeglass za oko 30 sekundi pokazuje gdje je vaša web stranica nečitljiva za UI sustave — besplatno i bez prijave.

Pročitaj dalje

• Zabraniti treniranje, dopustiti pretraživanje
• Upravljanje UI robotima u robots.txt
• CCBot i Common Crawl

Opća informacija, ne pravni savjet. GEO je mlado područje — preporuke se mogu mijenjati.