Sākums › Zināšanu bāze › seo.cat.crawler

GPTBot atļaušana vai bloķēšana

GPTBot ir rāpulis, ar kuru OpenAI vāc publiski pieejamu saturu nākotnes modeļu apmācībai.

Par ko atbild GPTBot

GPTBot ielādē lapas apmācības datiem — nevis lai atbildētu uz konkrētu lietotāja jautājumu ChatGPT. Par tiešo meklēšanu ChatGPT atbild OAI-SearchBot un ChatGPT-User. Kas bloķē GPTBot, bet vēlas palikt redzams AI meklēšanā, tam jāturpina atļaut šos divus.

Atļaušana

Atsevišķs bloks dod GPTBot pilnu piekļuvi: „User-agent: GPTBot“, kam seko „Allow: /“. Svarīgi: botam specifisks bloks GPTBot gadījumā pilnībā aizstāj bloku „User-agent: *“ — atkārtojiet tur nepieciešamos Disallow noteikumus.

Bloķēšana

„User-agent: GPTBot“, kam seko „Disallow: /“, tur GPTBot prom no visa domēna. OpenAI parasti ievēro robots.txt 24 stundu laikā. Saturu, kas jau nonācis apmācībā, tas neatgriež.

Pārbaudīt, vai tas darbojas

GPTBot ievēro robots.txt — tomēr netiek cauri, ja WAF vai botu aizsardzība iepriekš noraida lietotāja aģentu ar 403. citeglass izgūst jūsu lapu ar īsto GPTBot lietotāja aģentu un parāda, vai robots.txt noteikums un faktiskā servera atbilde sakrīt.

Pārbaudiet savu vietni

citeglass aptuveni 30 sekundēs parāda, kur jūsu vietne MI sistēmām ir nelasāma — bez maksas un bez pieteikšanās.

Lasīt tālāk

• OAI-SearchBot un ChatGPT-User
• MI robotu vadība robots.txt
• Aizliegt apmācību, atļaut meklēšanu

Vispārīga informācija, nevis juridiska konsultācija. GEO ir jauna joma — ieteikumi var mainīties.