Start › Baza wiedzy › Roboty AI w szczegółach

Zezwolić czy zablokować GPTBot

GPTBot to robot, którym OpenAI zbiera publicznie dostępne treści do trenowania przyszłych modeli.

Do czego służy GPTBot

GPTBot pobiera strony na dane treningowe, a nie do odpowiadania na konkretne pytanie w ChatGPT. Wyszukiwaniem na żywo w ChatGPT zajmują się OAI-SearchBot i ChatGPT-User. Kto blokuje GPTBot, ale chce pozostać widoczny w wyszukiwaniu AI, musi nadal zezwalać na te dwa.

Zezwolenie

Osobny blok daje GPTBot pełny dostęp: „User-agent: GPTBot” i „Allow: /”. Ważne: blok specyficzny dla bota całkowicie zastępuje dla GPTBot blok „User-agent: *” — powtórz tam potrzebne reguły Disallow.

Blokowanie

„User-agent: GPTBot” i „Disallow: /” trzyma GPTBot z dala od całej domeny. OpenAI zwykle respektuje robots.txt w ciągu 24 godzin. Nie cofa to treści, które już trafiły do treningu.

Sprawdzenie, czy działa

GPTBot przestrzega robots.txt — ale i tak nie wejdzie, jeśli WAF lub ochrona przed botami wcześniej odrzuci agenta użytkownika z kodem 403. citeglass pobiera Twoją stronę z prawdziwym agentem użytkownika GPTBot i pokazuje, czy reguła robots.txt i faktyczna odpowiedź serwera są zgodne.

Sprawdź własną stronę

citeglass pokazuje w około 30 sekund, gdzie Twoja strona jest nieczytelna dla systemów AI — za darmo i bez logowania.

Czytaj dalej

Informacja ogólna, nie porada prawna. GEO to młoda dziedzina — zalecenia mogą się zmieniać.