Pradžia › Žinių bazė › Temos

Visų DI naršyklių pašalinimas

Kas iš principo nori laikyti turinį atokiau nuo DI sistemų, tam reikia taisyklių kiekvienam įvardytam botui — pakaitos simbolio nepakanka, nes daug botų jį ignoruoja arba tikisi nuosavų blokų.

Botų sąrašas

Reikia atsižvelgti bent į: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. Kiekvienam botui nuosavas blokas su „Disallow: /“.

Ko robots.txt negali

robots.txt yra prašymas, o ne prievarta. Botai kaip Bytespider ar Perplexity buvo kritikuojami už jo apėjimą. Kietiems blokavimams papildomai WAF arba ugniasienės taisyklės user-agent'ams ir, kur įmanoma, patikrintiems IP diapazonams.

Kaina

Visiškas blokavimas pašalina tave iš DI atsakymų su šaltinio nuoroda — taigi iš augančios informacijos paieškos dalies. Daugeliui svetainių tikslesnis variantas protingesnis: uždrausti mokymą, leisti paiešką.

Poveikio patikrinimas

citeglass užkrauna tavo puslapį su kiekvienu iš šių user-agent'ų ir parodo matricoje, kuris botas yra blokuojamas pagal robots.txt ir ar tavo serveris blokavimą iš tikrųjų vykdo.

Patikrinkite savo svetainę

citeglass per maždaug 30 sekundžių parodo, kur jūsų svetainė neįskaitoma DI sistemoms — nemokamai ir be prisijungimo.

Skaitykite toliau

• Uždrausti mokymą, leisti paiešką
• DI robotų valdymas robots.txt
• CCBot ir Common Crawl

Bendra informacija, ne teisinė konsultacija. GEO yra jauna sritis — rekomendacijos gali keistis.