Sākums › Zināšanu bāze › Pamati

MI robotu vadība robots.txt

Katrs liels MI pakalpojumu sniedzējs uztur savus robotus ar saviem lietotāja aģentu nosaukumiem. Caur robots.txt katram robotam izlemjat, vai tas drīkst ielādēt jūsu saturu.

Svarīgākie MI roboti

OpenAI: GPTBot (apmācība), OAI-SearchBot (ChatGPT meklēšana), ChatGPT-User (ielāde pēc lietotāja pieprasījuma). Anthropic: ClaudeBot, Claude-SearchBot, Claude-User. Perplexity: PerplexityBot, Perplexity-User. Google: Google-Extended (Gemini apmācība) — pati ielāde MI pārskatiem notiek caur parasto Googlebot. Turklāt Common Crawl (CCBot), Amazonbot, Bytespider, Applebot-Extended un Meta-ExternalAgent.

Mērķtiecīga atļaušana

Maksimālai MI redzamībai attiecīgajiem robotiem piešķirat savu bloku ar „Allow: /“. Svarīgi: robotam specifisks bloks šim robotam pilnībā aizstāj bloku „User-agent: *“ — atkārtojiet tur nepieciešamos disallow noteikumus.

Mērķtiecīga izslēgšana

Ja noraidāt apmācību, bet vēlaties palikt redzams MI meklēšanā, varat bloķēt GPTBot un Google-Extended un atļaut OAI-SearchBot un Googlebot. Tas ir satura lēmums, nevis tikai tehnisks.

Kāpēc robots.txt bieži nepietiek

Daudzas vietnes atļauj robotus robots.txt, bet bloķē tos servera līmenī: WAF noteikums, Cloudflare „Bot Fight Mode“ vai ugunsmūris noraida robotu ar kodu 403. Robots ievēro robots.txt un tik un tā netiek iekšā. citeglass padara šo neatbilstību redzamu.

Pārbaude

Atļauto sarakstos jābūt pārbaudītiem robotiem. OpenAI, Anthropic, Perplexity un Google publicē savu robotu IP diapazonus; pārbaudiet papildus ar reverso DNS, nevis paļaujoties tikai uz lietotāja aģenta virkni.

Pārbaudiet savu vietni

citeglass aptuveni 30 sekundēs parāda, kur jūsu vietne MI sistēmām ir nelasāma — bez maksas un bez pieteikšanās.

Lasīt tālāk

Vispārīga informācija, nevis juridiska konsultācija. GEO ir jauna joma — ieteikumi var mainīties.