Početna › Baza znanja › Teme

Zabraniti treniranje, dopustiti pretraživanje

Većina pružatelja odvaja crawler za treniranje od crawlera za pretraživanje. Tako možeš izaći iz treniranja modela i ipak se pojaviti kao citirani izvor.

Blokirati botove za treniranje

Disallow za: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), plus tokene Google-Extended i Applebot-Extended. Opcionalno Meta-ExternalAgent ako želiš i van iz treniranja Llame.

Dopustiti botove za pretraživanje

Allow za: OAI-SearchBot i ChatGPT-User (ChatGPT pretraživanje), Claude-SearchBot i Claude-User (Claude), PerplexityBot i Perplexity-User (Perplexity), Googlebot (Google pretraživanje i AI pregledi).

Sive zone

Ne odvaja svaki pružatelj čisto: Common Crawl ne poznaje pretraživanje, Bytespider miješa oboje. I isječak teksta može završiti u AI pregledu, čak i ako si zabranio treniranje — to slijedi indeksiranje za pretraživanje.

Provjera konfiguracije

citeglass pokazuje po botu odvojeno važeće pravilo robots.txt i pravi odgovor poslužitelja — tako na prvi pogled vidiš djeluje li odvajanje „treniranje isključeno, pretraživanje uključeno“ doista.

Provjerite vlastitu stranicu

citeglass za oko 30 sekundi pokazuje gdje je vaša web stranica nečitljiva za UI sustave — besplatno i bez prijave.

Pročitaj dalje

• Isključivanje svih AI crawlera
• Dopustiti ili blokirati GPTBot
• Google-Extended i Googlebot

Opća informacija, ne pravni savjet. GEO je mlado područje — preporuke se mogu mijenjati.