Начало › База знания › Теми

Изключване на всички ИИ обхождащи роботи

Който по принцип иска да държи съдържанието извън ИИ системи, се нуждае от правила за всеки поименен бот — заместващ знак не стига, защото много ботове го игнорират или очакват собствени блокове.

Списъкът с ботове

Да се вземат предвид поне: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. За всеки бот отделен блок с „Disallow: /“.

Какво robots.txt не може

robots.txt е молба, не принуда. Ботове като Bytespider или Perplexity бяха критикувани, че го заобикалят. За твърди блокировки допълнително правила на WAF или защитна стена върху потребителските агенти и, където е възможно, върху проверени IP диапазони.

Цената

Пълна блокировка те изключва от ИИ отговори с връзка към източника — тоест от растяща част от търсенето на информация. За много сайтове по-целенасоченият вариант е по-разумен: забрана на обучението, разрешаване на търсенето.

Проверка на ефекта

citeglass извиква страницата ти с всеки от тези потребителски агенти и показва в матрица кой бот е блокиран според robots.txt и дали сървърът ти действително налага блокировката.

Проверете собствения си сайт

citeglass показва за около 30 секунди къде сайтът ви е нечетим за ИИ системите — безплатно и без вход.

Продължете четенето

Обща информация, не правен съвет. GEO е млада област — препоръките може да се променят.