Sākums › Zināšanu bāze › Tēmas

Visu MI pārmeklētāju izslēgšana

Kas principiāli vēlas turēt saturu ārpus MI sistēmām, tam vajadzīgi noteikumi katram nosauktam botam — aizstājējzīme nav pietiekama, jo daudzi boti to ignorē vai gaida pašu blokus.

Botu saraksts

Jāņem vērā vismaz: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. Katram botam pašam savs bloks ar „Disallow: /“.

Ko robots.txt nevar

robots.txt ir lūgums, nevis piespiešana. Boti kā Bytespider vai Perplexity tika kritizēti par tā apiešanu. Cietiem bloķējumiem papildus WAF vai ugunsmūra noteikumi user-agent virknēm un, kur iespējams, pārbaudītiem IP diapazoniem.

Cena

Pilnīgs bloķējums izslēdz tevi no MI atbildēm ar avota saiti — tātad no augošas informācijas meklēšanas daļas. Daudzām lapām mērķtiecīgākais variants ir saprātīgāks: aizliegt apmācību, atļaut meklēšanu.

Ietekmes pārbaude

citeglass ielādē tavu lapu ar katru no šiem user-agent un parāda matricā, kurš bots ir bloķēts saskaņā ar robots.txt un vai tavs serveris bloķējumu patiešām īsteno.

Pārbaudiet savu vietni

citeglass aptuveni 30 sekundēs parāda, kur jūsu vietne MI sistēmām ir nelasāma — bez maksas un bez pieteikšanās.

Lasīt tālāk

• Aizliegt apmācību, atļaut meklēšanu
• MI robotu vadība robots.txt
• CCBot un Common Crawl

Vispārīga informācija, nevis juridiska konsultācija. GEO ir jauna joma — ieteikumi var mainīties.