Головна › База знань › Теми

Закрити всі ШІ-краулери

Хто в принципі хоче тримати вміст поза ШІ-системами, потребує правил для кожного названого бота — символа підстановки недостатньо, бо багато ботів його ігнорують або очікують власних блоків.

Список ботів

Урахувати потрібно щонайменше: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. Для кожного бота власний блок із «Disallow: /».

Чого robots.txt не може

robots.txt — це прохання, а не примус. Боти на кшталт Bytespider чи Perplexity зазнавали критики за його обхід. Для жорстких блокувань додатково правила WAF або брандмауера на user-agent і, де можливо, на перевірені діапазони IP.

Ціна

Повне блокування виводить вас із ШІ-відповідей із посиланням на джерело — тобто зі зростаючої частини пошуку інформації. Для багатьох сайтів більш прицільний варіант розумніший: заборонити навчання, дозволити пошук.

Перевірка ефекту

citeglass запитує вашу сторінку з кожним із цих user-agent і показує в матриці, який бот заблоковано згідно з robots.txt і чи справді ваш сервер забезпечує блокування.

Перевірте власний сайт

citeglass приблизно за 30 секунд показує, де ваш сайт нечитабельний для ШІ-систем — безкоштовно й без входу.

Читати далі

Загальна інформація, не юридична консультація. GEO — молода галузь, рекомендації можуть змінюватися.