Разрешаване или блокиране на GPTBot

GPTBot е обхождащият робот, с който OpenAI събира публично достъпно съдържание за обучение на бъдещи модели.

За какво отговаря GPTBot

GPTBot зарежда страници за обучителни данни — не за отговор на конкретен потребителски въпрос в ChatGPT. За търсенето на живо в ChatGPT отговарят OAI-SearchBot и ChatGPT-User. Който блокира GPTBot, но иска да остане видим в AI търсенето, трябва да продължи да разрешава тези два.

Разрешаване

Отделен блок дава на GPTBot пълен достъп: „User-agent: GPTBot“, следвано от „Allow: /“. Важно: специфичен за бот блок замества за GPTBot напълно блока „User-agent: *“ — повторете там необходимите правила Disallow.

Блокиране

„User-agent: GPTBot“, следвано от „Disallow: /“, държи GPTBot далеч от целия домейн. OpenAI по правило спазва robots.txt в рамките на 24 часа. Съдържание, което вече е влязло в обучението, това не връща.

Проверка дали работи

GPTBot спазва robots.txt — но все пак не преминава, ако WAF или защита от ботове предварително отхвърли user-agent с 403. citeglass извлича страницата ви с истинския GPTBot user-agent и показва дали правилото robots.txt и действителният отговор на сървъра съвпадат.

Проверете собствения си сайт

citeglass показва за около 30 секунди къде сайтът ви е нечетим за ИИ системите — безплатно и без вход.

Продължете четенето

Обща информация, не правен съвет. GEO е млада област — препоръките може да се променят.