Forside › Vidensbase › seo.cat.crawler

Tillad eller blokér GPTBot

GPTBot er den crawler, OpenAI bruger til at indsamle offentligt tilgængeligt indhold til træning af fremtidige modeller.

Hvad GPTBot står for

GPTBot henter sider til træningsdata — ikke til at besvare et konkret brugerspørgsmål i ChatGPT. Til livesøgningen i ChatGPT står OAI-SearchBot og ChatGPT-User. Den, der blokerer GPTBot, men vil forblive synlig i AI-søgningen, skal fortsat tillade disse to.

Tillad

En egen blok giver GPTBot fuld adgang: ”User-agent: GPTBot” efterfulgt af ”Allow: /”. Vigtigt: En botspecifik blok erstatter ”User-agent: *”-blokken fuldstændigt for GPTBot — gentag nødvendige Disallow-regler der.

Blokér

”User-agent: GPTBot” efterfulgt af ”Disallow: /” holder GPTBot væk fra hele domænet. OpenAI respekterer som regel robots.txt inden for 24 timer. Indhold, der allerede er indgået i træningen, hentes ikke tilbage.

Kontrollér, om det virker

GPTBot overholder robots.txt — men kommer alligevel ikke igennem, hvis en WAF eller en botbeskyttelse afviser user-agenten med 403 på forhånd. citeglass henter din side med den rigtige GPTBot-user-agent og viser, om robots.txt-reglen og det faktiske serversvar stemmer overens.

Tjek dit eget site

citeglass viser på cirka 30 sekunder, hvor dit website er ulæsbart for AI-systemer — gratis og uden login.

Læs videre

• OAI-SearchBot og ChatGPT-User
• Styr AI-crawlere i robots.txt
• Forbyd træning, tillad søgning

Generel information, ikke juridisk rådgivning. GEO er et ungt felt — anbefalinger kan ændre sig.