Pradžia › Žinių bazė › Pagrindai

DI robotų valdymas robots.txt

Kiekvienas didelis DI tiekėjas eksploatuoja savo robotus su savo naudotojo agentų pavadinimais. Per robots.txt kiekvienam robotui nusprendžiate, ar jis gali įkelti jūsų turinį.

Svarbiausi DI robotai

OpenAI: GPTBot (mokymas), OAI-SearchBot (ChatGPT paieška), ChatGPT-User (atsisiuntimas naudotojo prašymu). Anthropic: ClaudeBot, Claude-SearchBot, Claude-User. Perplexity: PerplexityBot, Perplexity-User. Google: Google-Extended (Gemini mokymas) — pats atsisiuntimas DI apžvalgoms vyksta per įprastą Googlebot. Be to, Common Crawl (CCBot), Amazonbot, Bytespider, Applebot-Extended ir Meta-ExternalAgent.

Tikslingas leidimas

Maksimaliam DI matomumui atitinkamiems robotams suteikiate savo bloką su „Allow: /“. Svarbu: robotui specifinis blokas tam robotui visiškai pakeičia bloką „User-agent: *“ — pakartokite ten reikalingas disallow taisykles.

Tikslingas išskyrimas

Jei atsisakote mokymo, bet norite likti matomas DI paieškoje, galite blokuoti GPTBot ir Google-Extended, o leisti OAI-SearchBot ir Googlebot. Tai turinio sprendimas, ne vien techninis.

Kodėl robots.txt dažnai nepakanka

Daug svetainių leidžia robotus robots.txt, bet blokuoja juos serverio lygiu: WAF taisyklė, Cloudflare „Bot Fight Mode“ arba ugniasienė atmeta robotą kodu 403. Robotas laikosi robots.txt ir vis tiek nepatenka. citeglass padaro šį neatitikimą matomą.

Patikra

Leidžiamųjų sąrašuose turėtų būti patikrinti robotai. OpenAI, Anthropic, Perplexity ir Google skelbia savo robotų IP diapazonus; papildomai patikrinkite per atvirkštinį DNS, užuot pasikliovę vien naudotojo agento eilute.

Patikrinkite savo svetainę

citeglass per maždaug 30 sekundžių parodo, kur jūsų svetainė neįskaitoma DI sistemoms — nemokamai ir be prisijungimo.

Skaitykite toliau

Bendra informacija, ne teisinė konsultacija. GEO yra jauna sritis — rekomendacijos gali keistis.