Start › Kennisbank › AI-crawlers in detail

OAI-SearchBot en ChatGPT-User

Wanneer ChatGPT op het web zoekt, halen OAI-SearchBot en ChatGPT-User pagina's op — los van de trainingscrawler GPTBot.

Twee bots, twee taken

OAI-SearchBot bouwt de index voor ChatGPT-zoeken. ChatGPT-User haalt een pagina op wanneer een gebruiker daar in zijn vraag uitdrukkelijk om vraagt of een link deelt. Beide leveren de basis voor geciteerde antwoorden met bronlink.

Waarom je ze zou toestaan

Wie als bron in ChatGPT wil verschijnen, moet deze twee bots toegang geven. Alleen GPTBot blokkeren laat het zoeken ongemoeid; 'User-agent: *' blokkeren treft ook OAI-SearchBot.

De robots.txt-regel

Voor maximale zichtbaarheid: elk een blok voor 'User-agent: OAI-SearchBot' en 'User-agent: ChatGPT-User', elk met 'Allow: /'. Sluit gevoelige delen (login, winkelwagen, interne zoekfunctie) uit met gerichte Disallow-regels.

Bereikbaarheid testen

citeglass controleert apart voor OAI-SearchBot en ChatGPT-User of robots.txt ze toestaat en of je server ze daadwerkelijk inhoud levert — inclusief de gevallen waarin botbescherming ze blokkeert ondanks een toestaande robots.txt.

Controleer je eigen site

citeglass laat in ongeveer 30 seconden zien waar je website onleesbaar is voor AI-systemen — gratis en zonder account.

Verder lezen

Algemene informatie, geen juridisch advies. GEO is een jong vakgebied — aanbevelingen kunnen veranderen.