Početna › Baza znanja › Osnove

Upravljanje UI robotima u robots.txt

Svaki veliki UI pružatelj vodi vlastite robote s vlastitim nazivima korisničkih agenata. Putem robots.txt po robotu odlučujete smije li učitati vaš sadržaj.

Najvažniji UI roboti

OpenAI: GPTBot (obuka), OAI-SearchBot (ChatGPT pretraga), ChatGPT-User (dohvat na zahtjev korisnika). Anthropic: ClaudeBot, Claude-SearchBot, Claude-User. Perplexity: PerplexityBot, Perplexity-User. Google: Google-Extended (obuka Gemini) — stvarni dohvat za UI preglede ide preko običnog Googlebota. Uz to Common Crawl (CCBot), Amazonbot, Bytespider, Applebot-Extended i Meta-ExternalAgent.

Ciljano dopuštanje

Za najveću vidljivost putem UI relevantnim robotima dajete vlastiti blok s „Allow: /“. Važno: blok specifičan za robota za tog robota u potpunosti zamjenjuje blok „User-agent: *“ — tamo ponovite potrebna pravila disallow.

Ciljano isključivanje

Ako odbijate obuku, ali želite ostati vidljivi u UI pretrazi, možete blokirati GPTBot i Google-Extended, a dopustiti OAI-SearchBot i Googlebot. To je sadržajna odluka, ne isključivo tehnička.

Zašto robots.txt često nije dovoljan

Mnoge stranice dopuštaju robote u robots.txt, ali ih blokiraju na razini poslužitelja: pravilo WAF-a, Cloudflareov „Bot Fight Mode“ ili vatrozid odbija robota kodom 403. Robot poštuje robots.txt i ipak ne ulazi. citeglass to neslaganje čini vidljivim.

Provjera

Popisi dopuštenih trebali bi sadržavati provjerene robote. OpenAI, Anthropic, Perplexity i Google objavljuju IP raspone svojih robota; provjerite dodatno putem obrnutog DNS-a umjesto da se oslanjate samo na niz korisničkog agenta.

Provjerite vlastitu stranicu

citeglass za oko 30 sekundi pokazuje gdje je vaša web stranica nečitljiva za UI sustave — besplatno i bez prijave.

Pročitaj dalje

Opća informacija, ne pravni savjet. GEO je mlado područje — preporuke se mogu mijenjati.