Úvod › Znalostní báze › seo.cat.crawler
Povolit nebo blokovat GPTBot
GPTBot je prohledávač, kterým OpenAI shromažďuje veřejně dostupný obsah pro trénink budoucích modelů.
Za co GPTBot odpovídá
GPTBot načítá stránky pro tréninková data — ne pro zodpovězení konkrétního dotazu uživatele v ChatGPT. Za živé vyhledávání v ChatGPT odpovídají OAI-SearchBot a ChatGPT-User. Kdo blokuje GPTBot, ale chce zůstat viditelný v AI vyhledávání, musí tyto dva nadále povolit.
Povolit
Vlastní blok dává GPTBotu plný přístup: „User-agent: GPTBot“ následované „Allow: /“. Důležité: blok specifický pro bota nahrazuje pro GPTBot blok „User-agent: *“ zcela — potřebná pravidla Disallow tam zopakujte.
Blokovat
„User-agent: GPTBot“ následované „Disallow: /“ drží GPTBot mimo celou doménu. OpenAI zpravidla respektuje robots.txt do 24 hodin. Obsah, který již vstoupil do tréninku, to nevrátí.
Zkontrolovat, zda to funguje
GPTBot dodržuje robots.txt — přesto se nedostane skrz, pokud WAF nebo ochrana proti botům předem odmítne user-agenta s chybou 403. citeglass načte vaši stránku se skutečným user-agentem GPTBot a ukáže, zda pravidlo robots.txt a skutečná odpověď serveru souhlasí.
Zkontrolujte vlastní web
citeglass ukáže během asi 30 sekund, kde je váš web pro AI systémy nečitelný — zdarma a bez přihlášení.
Číst dál
Obecná informace, nikoli právní poradenství. GEO je mladý obor — doporučení se mohou měnit.