Dopustiti ili blokirati GPTBot

GPTBot je alat za indeksiranje kojim OpenAI prikuplja javno dostupan sadržaj za treniranje budućih modela.

Za što je GPTBot zadužen

GPTBot učitava stranice za podatke za treniranje — ne za odgovaranje na konkretno korisničko pitanje u ChatGPT-u. Za pretraživanje uživo u ChatGPT-u zaduženi su OAI-SearchBot i ChatGPT-User. Tko blokira GPTBot, ali želi ostati vidljiv u AI pretraživanju, mora i dalje dopustiti ta dva.

Dopustiti

Vlastiti blok daje GPTBot-u puni pristup: „User-agent: GPTBot“ nakon čega slijedi „Allow: /“. Važno: blok specifičan za bota za GPTBot potpuno zamjenjuje blok „User-agent: *“ — potrebna Disallow pravila tamo ponovite.

Blokirati

„User-agent: GPTBot“ nakon čega slijedi „Disallow: /“ drži GPTBot podalje od cijele domene. OpenAI u pravilu poštuje robots.txt unutar 24 sata. Sadržaj koji je već ušao u treniranje time se ne vraća.

Provjeriti djeluje li

GPTBot se pridržava robots.txt-a — ipak ne prolazi ako WAF ili zaštita od botova unaprijed odbije user-agent s 403. citeglass dohvaća vašu stranicu sa stvarnim GPTBot user-agentom i pokazuje podudaraju li se robots.txt pravilo i stvarni odgovor poslužitelja.

Provjerite vlastitu stranicu

citeglass za oko 30 sekundi pokazuje gdje je vaša web stranica nečitljiva za UI sustave — besplatno i bez prijave.

Pročitaj dalje

Opća informacija, ne pravni savjet. GEO je mlado područje — preporuke se mogu mijenjati.