Acasă › Bază de cunoștințe › seo.cat.crawler

Permiteți sau blocați GPTBot

GPTBot este crawlerul cu care OpenAI colectează conținut disponibil public pentru antrenarea modelelor viitoare.

De ce răspunde GPTBot

GPTBot încarcă pagini pentru date de antrenare — nu pentru a răspunde la o întrebare concretă a unui utilizator în ChatGPT. Pentru căutarea live în ChatGPT răspund OAI-SearchBot și ChatGPT-User. Cine blochează GPTBot, dar vrea să rămână vizibil în căutarea AI, trebuie să permită în continuare aceste două.

Permiteți

Un bloc propriu îi dă GPTBot acces complet: „User-agent: GPTBot” urmat de „Allow: /”. Important: un bloc specific unui bot înlocuiește complet pentru GPTBot blocul „User-agent: *” — repetați acolo regulile Disallow necesare.

Blocați

„User-agent: GPTBot” urmat de „Disallow: /” ține GPTBot departe de întregul domeniu. OpenAI respectă de regulă robots.txt în 24 de ore. Conținutul care a intrat deja în antrenare nu îl recuperează.

Verificați dacă funcționează

GPTBot respectă robots.txt — dar tot nu trece dacă un WAF sau o protecție anti-bot respinge user-agentul în prealabil cu 403. citeglass încarcă pagina dvs. cu user-agentul real GPTBot și arată dacă regula robots.txt și răspunsul real al serverului corespund.

Verifică-ți propriul site

citeglass arată în circa 30 de secunde unde site-ul tău este ilizibil pentru sistemele AI — gratuit și fără cont.

Citește mai departe

Informație generală, nu consultanță juridică. GEO este un domeniu tânăr — recomandările se pot schimba.