Важные ИИ-краулеры заблокированы в robots.txt

Ваш robots.txt запрещает доступ 5 ключевым ИИ-краулерам: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended. Эти системы тогда не могут загрузить ваше содержимое и использовать его как источник.

Что вам следует сделать: Проверьте по каждому боту, намеренна ли блокировка. Для ИИ-видимости должны быть разрешены как минимум GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot и Google-Extended.

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

Сервер блокирует ботов, хотя robots.txt их разрешает

Для 1 бота(ов) от Amazon (Alexa/Rufus) robots.txt говорит «разрешено», но сервер отвечает 403 или страницей защиты от ботов. Обычно правило WAF, брандмауэра или CDN закрывает доступ краулеру в обход robots.txt.

Что вам следует сделать: Добавьте user-agent'ы и/или диапазоны IP нужных ИИ-краулеров в список разрешённых в вашем WAF / Cloudflare / брандмауэре. Проверяйте их по обратному DNS, а не только по строке user-agent.

Заголовок страницы слишком короткий или слишком длинный

<title> имеет длину 66 символов. Разумно около 30–60 символов: достаточно описательно, чтобы назвать тему, достаточно кратко, чтобы не обрезаться.

Что вам следует сделать: Напишите ёмкий заголовок, содержащий тему и при необходимости бренд.

Нет llms.txt

По адресу /llms.txt нет файла. llms.txt — это краткий обзор вашего ключевого содержимого в Markdown, который некоторые ИИ-системы используют для ориентации.

Что вам следует сделать: Создайте /llms.txt: H1 с названием, короткий абзац о предложении и список ссылок на центральные страницы.

# Ваша компания

> Описание в одном предложении.

## Важные страницы
- [Продукт](https://ваш-домен.ru/product): …
- [Цены](https://ваш-домен.ru/pricing): …
- [О нас](https://ваш-домен.ru/about): …

Нет схемы Organization

JSON-LD есть, но нет записи «Organization». ИИ-системы тогда хуже позиционируют ваш бренд как отдельную сущность и хуже связывают его с внешними источниками.

Что вам следует сделать: Добавьте схему «Organization» с name, url, logo и sameAs (ссылки на ваши официальные профили).

Нет разметки FAQ или HowTo

Содержимое в формате «вопрос — ответ» и пошаговые инструкции без разметки FAQPage или HowTo сложнее распознать ИИ-системам как напрямую цитируемый ответ.

Что вам следует сделать: Там, где страница отвечает на реальные вопросы или даёт инструкции, разметьте её как FAQPage или HowTo (никакой разметки без видимого соответствующего содержимого).

Нет сигнала автора или авторства

Автор не распознаётся (ни meta-тег, ни rel=author, ни JSON-LD Person). Для «опыта» и «экспертизы» в смысле E-E-A-T важно названное, прослеживаемое авторство.

Что вам следует сделать: Для редакционного содержимого называйте автора по имени и связывайте страницу автора; размечайте его также как JSON-LD «Person».

Нет видимой или размеченной даты

Не распознаётся дата публикации или изменения (ни <time>, ни article:published_time, ни datePublished в JSON-LD). Для многих вопросов ИИ-системы предпочитают актуальные источники.

Что вам следует сделать: Для содержимого, привязанного ко времени, показывайте дату заметно и размечайте datePublished / dateModified в JSON-LD.