Domov › Baza znanja › seo.cat.crawler

Dovoliti ali blokirati GPTBot

GPTBot je pajek, s katerim OpenAI zbira javno dostopne vsebine za učenje prihodnjih modelov.

Za kaj je GPTBot zadolžen

GPTBot nalaga strani za učne podatke — ne za odgovor na konkretno uporabniško vprašanje v ChatGPT. Za iskanje v živo v ChatGPT sta zadolžena OAI-SearchBot in ChatGPT-User. Kdor blokira GPTBot, a želi ostati viden v iskanju z UI, mora ta dva še naprej dovoliti.

Dovoliti

Lasten blok daje GPTBotu poln dostop: „User-agent: GPTBot“, ki mu sledi „Allow: /“. Pomembno: blok, specifičen za bota, za GPTBot popolnoma nadomesti blok „User-agent: *“ — potrebna pravila Disallow tam ponovite.

Blokirati

„User-agent: GPTBot“, ki mu sledi „Disallow: /“, drži GPTBot stran od celotne domene. OpenAI praviloma upošteva robots.txt v 24 urah. Vsebine, ki je že vstopila v učenje, to ne vrne.

Preveriti, ali deluje

GPTBot se drži robots.txt — a vseeno ne pride skozi, če WAF ali zaščita pred boti vnaprej zavrne uporabniškega agenta s 403. citeglass pridobi vašo stran s pravim uporabniškim agentom GPTBot in pokaže, ali se pravilo robots.txt in dejanski odziv strežnika ujemata.

Preverite svoje spletno mesto

citeglass v približno 30 sekundah pokaže, kje je vaše spletno mesto za UI-sisteme neberljivo — brezplačno in brez prijave.

Preberite naprej

Splošne informacije, ne pravni nasvet. GEO je mlado področje — priporočila se lahko spremenijo.