Domov › Baza znanja › Teme

Izključitev vseh pregledovalnikov UI

Kdor želi vsebino načelno držati zunaj sistemov UI, potrebuje pravila za vsakega poimenovanega bota — nadomestni znak ne zadostuje, saj ga mnogi boti prezrejo ali pričakujejo lastne bloke.

Seznam botov

Upoštevati je treba vsaj: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. Za vsakega bota lasten blok z „Disallow: /“.

Česa robots.txt ne zmore

robots.txt je prošnja, ne prisila. Boti kot Bytespider ali Perplexity so bili deležni kritik zaradi obhajanja. Za trde blokade dodatno pravila WAF ali požarnega zidu na user-agente in, kjer je mogoče, na preverjene obsege IP.

Cena

Popolna blokada te izloči iz odgovorov UI s povezavo do vira — torej iz rastočega dela iskanja informacij. Za mnoge strani je bolj ciljno usmerjena različica bolj smiselna: prepovej učenje, dovoli iskanje.

Preverjanje učinka

citeglass pridobi tvojo stran z vsakim od teh user-agentov in v matriki pokaže, kateri bot je po robots.txt blokiran in ali tvoj strežnik blokado dejansko uveljavlja.

Preverite svoje spletno mesto

citeglass v približno 30 sekundah pokaže, kje je vaše spletno mesto za UI-sisteme neberljivo — brezplačno in brez prijave.

Preberite naprej

• Prepovej učenje, dovoli iskanje
• Upravljanje UI-robotov v robots.txt
• CCBot in Common Crawl

Splošne informacije, ne pravni nasvet. GEO je mlado področje — priporočila se lahko spremenijo.