Forside › Kunnskapsbase › seo.cat.crawler

Tillate eller blokkere GPTBot

GPTBot er søkeroboten OpenAI bruker for å samle inn offentlig tilgjengelig innhold til trening av framtidige modeller.

Hva GPTBot står for

GPTBot laster sider for treningsdata — ikke for å besvare et konkret brukerspørsmål i ChatGPT. For livesøket i ChatGPT står OAI-SearchBot og ChatGPT-User. Den som blokkerer GPTBot, men vil forbli synlig i AI-søket, må fortsatt tillate disse to.

Tillate

En egen blokk gir GPTBot full tilgang: «User-agent: GPTBot» etterfulgt av «Allow: /». Viktig: En botspesifikk blokk erstatter «User-agent: *»-blokken fullstendig for GPTBot — gjenta nødvendige Disallow-regler der.

Blokkere

«User-agent: GPTBot» etterfulgt av «Disallow: /» holder GPTBot borte fra hele domenet. OpenAI respekterer som regel robots.txt innen 24 timer. Innhold som allerede har inngått i treningen, hentes ikke tilbake.

Kontrollere at det virker

GPTBot følger robots.txt — men kommer likevel ikke gjennom hvis en WAF eller en botbeskyttelse avviser user-agenten med 403 på forhånd. citeglass henter siden din med den ekte GPTBot-user-agenten og viser om robots.txt-regelen og det faktiske serversvaret stemmer overens.

Sjekk ditt eget nettsted

citeglass viser på rundt 30 sekunder hvor nettstedet ditt er uleselig for KI-systemer — gratis og uten innlogging.

Les videre

• OAI-SearchBot og ChatGPT-User
• Styre KI-roboter i robots.txt
• Forby trening, tillat søk

Generell informasjon, ikke juridisk rådgivning. GEO er et ungt felt — anbefalinger kan endre seg.