Úvod › Znalostná báza › Témy

Zakázať trénovanie, povoliť vyhľadávanie

Väčšina poskytovateľov oddeľuje trénovací crawler od vyhľadávacieho. Môžeš tak vystúpiť z trénovania modelov a napriek tomu sa objavovať ako citovaný zdroj.

Blokovať trénovacie boty

Disallow pre: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), plus tokeny Google-Extended a Applebot-Extended. Voliteľne Meta-ExternalAgent, ak chceš aj von z trénovania Llamy.

Povoliť vyhľadávacie boty

Allow pre: OAI-SearchBot a ChatGPT-User (vyhľadávanie v ChatGPT), Claude-SearchBot a Claude-User (Claude), PerplexityBot a Perplexity-User (Perplexity), Googlebot (vyhľadávanie Google a AI prehľady).

Šedé zóny

Nie každý poskytovateľ oddeľuje čisto: Common Crawl vyhľadávanie nepozná, Bytespider oboje mieša. A textový úryvok môže skončiť v AI prehľade, aj keď si trénovanie zakázal — to sleduje indexáciu pre vyhľadávanie.

Kontrola konfigurácie

citeglass ukazuje pre každého bota zvlášť platné pravidlo robots.txt a skutočnú odpoveď servera — na jeden pohľad tak vidíš, či oddelenie „trénovanie vypnuté, vyhľadávanie zapnuté“ skutočne funguje.

Skontrolujte vlastný web

citeglass ukáže za asi 30 sekúnd, kde je váš web pre AI systémy nečitateľný — zdarma a bez prihlásenia.

Čítať ďalej

• Vylúčiť všetky AI crawlery
• Povoliť alebo blokovať GPTBot
• Google-Extended a Googlebot

Všeobecná informácia, nie právne poradenstvo. GEO je mladý odbor — odporúčania sa môžu meniť.