Start › Kennisbank › AI-crawlers in detail

GPTBot toestaan of blokkeren

GPTBot is de crawler waarmee OpenAI openbaar toegankelijke inhoud verzamelt om toekomstige modellen te trainen.

Waarvoor GPTBot dient

GPTBot haalt pagina's op voor trainingsdata — niet om een concrete gebruikersvraag in ChatGPT te beantwoorden. De live-zoekopdracht in ChatGPT verloopt via OAI-SearchBot en ChatGPT-User. Wie GPTBot blokkeert maar zichtbaar wil blijven in AI-zoeken, moet die twee blijven toestaan.

Toestaan

Een eigen blok geeft GPTBot volledige toegang: 'User-agent: GPTBot' gevolgd door 'Allow: /'. Belangrijk: een bot-specifiek blok vervangt het 'User-agent: *'-blok voor GPTBot volledig — herhaal daar de nodige Disallow-regels.

Blokkeren

'User-agent: GPTBot' gevolgd door 'Disallow: /' houdt GPTBot van het hele domein weg. OpenAI respecteert robots.txt doorgaans binnen 24 uur. Het haalt inhoud die al in de training zit niet terug.

Controleren of het werkt

GPTBot houdt zich aan robots.txt — maar komt er alsnog niet in als een WAF of botbescherming de user agent vooraf met een 403 afwijst. citeglass roept je pagina op met de echte GPTBot-user agent en toont of de robots.txt-regel en het werkelijke serverantwoord overeenkomen.

Controleer je eigen site

citeglass laat in ongeveer 30 seconden zien waar je website onleesbaar is voor AI-systemen — gratis en zonder account.

Verder lezen

Algemene informatie, geen juridisch advies. GEO is een jong vakgebied — aanbevelingen kunnen veranderen.