Главная › База знаний › Темы

Закрыть все ИИ-краулеры

Тот, кто в принципе хочет держать контент вне ИИ-систем, нуждается в правилах для каждого именованного бота — подстановочного знака недостаточно, потому что многие боты его игнорируют или ожидают собственных блоков.

Список ботов

Учесть нужно как минимум: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. Для каждого бота собственный блок с «Disallow: /».

Чего robots.txt не может

robots.txt — это просьба, а не принуждение. Боты вроде Bytespider или Perplexity подвергались критике за его обход. Для жёстких блокировок дополнительно правила WAF или брандмауэра на user-agent и, где возможно, на проверенные диапазоны IP.

Цена

Полная блокировка выводит вас из ИИ-ответов со ссылкой на источник — то есть из растущей части поиска информации. Для многих сайтов более прицельный вариант разумнее: запретить обучение, разрешить поиск.

Проверка эффекта

citeglass запрашивает вашу страницу с каждым из этих user-agent и показывает в матрице, какой бот заблокирован согласно robots.txt и действительно ли ваш сервер обеспечивает блокировку.

Проверьте свой сайт

citeglass примерно за 30 секунд показывает, где ваш сайт нечитаем для ИИ-систем — бесплатно и без входа.

Читать дальше

Общая информация, не юридическая консультация. GEO — молодая область, рекомендации могут меняться.