Domov › Baza znanja › Osnove

Upravljanje UI-robotov v robots.txt

Vsak velik ponudnik UI upravlja lastne robote z lastnimi imeni uporabniških agentov. Prek robots.txt se pri vsakem robotu odločite, ali sme naložiti vašo vsebino.

Najpomembnejši UI-roboti

OpenAI: GPTBot (učenje), OAI-SearchBot (iskanje ChatGPT), ChatGPT-User (pridobivanje na zahtevo uporabnika). Anthropic: ClaudeBot, Claude-SearchBot, Claude-User. Perplexity: PerplexityBot, Perplexity-User. Google: Google-Extended (učenje Gemini) — dejansko pridobivanje za UI-preglede poteka prek običajnega Googlebota. Poleg tega Common Crawl (CCBot), Amazonbot, Bytespider, Applebot-Extended in Meta-ExternalAgent.

Ciljno dovoljevanje

Za največjo vidnost prek UI relevantnim robotom dodelite lasten blok z »Allow: /«. Pomembno: blok, specifičen za robota, za tega robota v celoti nadomesti blok »User-agent: *« — tam ponovite potrebna pravila disallow.

Ciljno izključevanje

Če zavračate učenje, a želite ostati vidni v UI-iskanju, lahko blokirate GPTBot in Google-Extended ter dovolite OAI-SearchBot in Googlebot. To je vsebinska odločitev, ne zgolj tehnična.

Zakaj robots.txt pogosto ne zadošča

Mnoga spletna mesta robote dovolijo v robots.txt, a jih blokirajo na ravni strežnika: pravilo WAF, Cloudflarov »Bot Fight Mode« ali požarni zid robota zavrne s kodo 403. Robot upošteva robots.txt in vseeno ne pride noter. citeglass to neskladje pokaže.

Preverjanje

Seznami dovoljenih naj vsebujejo preverjene robote. OpenAI, Anthropic, Perplexity in Google objavljajo obsege IP svojih robotov; preverite dodatno prek obratnega DNS, namesto da bi se zanašali le na niz uporabniškega agenta.

Preverite svoje spletno mesto

citeglass v približno 30 sekundah pokaže, kje je vaše spletno mesto za UI-sisteme neberljivo — brezplačno in brez prijave.

Preberite naprej

Splošne informacije, ne pravni nasvet. GEO je mlado področje — priporočila se lahko spremenijo.