Acasă › Bază de cunoștințe › Teme

Interzice antrenarea, permite căutarea

Majoritatea furnizorilor separă crawlerul de antrenament de crawlerul de căutare. Astfel poți ieși din antrenarea modelelor și totuși să apari ca sursă citată.

Blochează boții de antrenament

Disallow pentru: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), plus tokenurile Google-Extended și Applebot-Extended. Opțional Meta-ExternalAgent dacă vrei să ieși și din antrenarea Llama.

Permite boții de căutare

Allow pentru: OAI-SearchBot și ChatGPT-User (căutare ChatGPT), Claude-SearchBot și Claude-User (Claude), PerplexityBot și Perplexity-User (Perplexity), Googlebot (căutare Google și rezumate AI).

Zone gri

Nu fiecare furnizor separă curat: Common Crawl nu cunoaște căutare, Bytespider amestecă ambele. Și un fragment de text poate ajunge într-un rezumat AI, chiar dacă ai interzis antrenarea — asta urmează indexarea pentru căutare.

Verificarea configurației

citeglass arată pe fiecare bot separat regula robots.txt în vigoare și răspunsul real al serverului — astfel vezi dintr-o privire dacă separarea „antrenare oprită, căutare pornită” funcționează efectiv.

Verifică-ți propriul site

citeglass arată în circa 30 de secunde unde site-ul tău este ilizibil pentru sistemele AI — gratuit și fără cont.

Citește mai departe

Informație generală, nu consultanță juridică. GEO este un domeniu tânăr — recomandările se pot schimba.