Проверено 24.09.2026 · https://www.heise.de/
Для обнаруживаемости ИИ есть 1 критических препятствий — устраните их в первую очередь.
Матрица ИИ-краулеров
Для каждого бота: что разрешает ваш robots.txt — и что сервер на самом деле возвращает user-agent'у бота. Строки, выделенные красным: robots разрешает, но сервер блокирует (обычно правило WAF или защиты от ботов).
| Бот | Оператор | robots.txt | Ответ сервера |
|---|---|---|---|
| GPTBot | OpenAI | разрешено | 200 + содержимое |
| OAI-SearchBot | OpenAI | разрешено | 200 + содержимое |
| ChatGPT-User | OpenAI | разрешено | 200 + содержимое |
| ClaudeBot | Anthropic | разрешено | 200 + содержимое |
| Claude-SearchBot | Anthropic | разрешено | 200 + содержимое |
| Claude-User | Anthropic | разрешено | 200 + содержимое |
| PerplexityBot | Perplexity | разрешено | 200 + содержимое |
| Perplexity-User | Perplexity | разрешено | 200 + содержимое |
| Google-Extended | Google (Gemini-Training) | заблокировано | — |
| Googlebot | Google (KI-Übersichten) | разрешено (через User-agent: *) | 200 + содержимое |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | заблокировано | 200 + содержимое |
| Bytespider | ByteDance (Doubao) | заблокировано | 200 + содержимое |
| Amazonbot | Amazon (Alexa/Rufus) | заблокировано | 200 + содержимое |
| Applebot-Extended | Apple (Intelligence-Training) | заблокировано | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | заблокировано | 200 + содержимое |
Как складывается оценка?
| Поисковые ИИ-боты заблокированы в robots.txt | -8 |
| Заголовок страницы слишком короткий или слишком длинный | -6 |
| Не ровно один заголовок H1 | -5 |
| Нет llms.txt | -5 |
| Нет схемы Organization | -4 |
| Нет сигнала автора или авторства | -4 |
| Нет связей sameAs | -3 |
| Нет разметки FAQ или HowTo | -2 |
| Результат | 63 / 100 |
Доступ для ИИ-краулеров
Поисковые ИИ-боты заблокированы в robots.txt
Ваш robots.txt блокирует 1 ботов, которые загружают контент для ответов ИИ-ассистентов и поисковых систем: Google-Extended. Пока они заблокированы, ваш сайт не может появиться там как источник.
Что вам следует сделать: Проверьте для каждого бота, намеренна ли блокировка. Если вы хотите исключить только обучение ИИ, заблокируйте обучающих ботов (GPTBot, ClaudeBot, Google-Extended) и разрешите поисковых.
Структура и машинная понятность
Заголовок страницы слишком короткий или слишком длинный
<title> имеет длину 67 символов. Разумно около 30–60 символов: достаточно описательно, чтобы назвать тему, достаточно кратко, чтобы не обрезаться.
Что вам следует сделать: Напишите ёмкий заголовок, содержащий тему и при необходимости бренд.
Не ровно один заголовок H1
На странице 0 заголовков H1. Один однозначный H1 говорит людям и машинам, о чём страница прежде всего.
Что вам следует сделать: Установите ровно один H1, называющий основную тему страницы. Всё под ним начинается с H2.
Нет llms.txt
По адресу /llms.txt нет файла. llms.txt — это краткий обзор вашего ключевого содержимого в Markdown, который некоторые ИИ-системы используют для ориентации.
Что вам следует сделать: Создайте /llms.txt: H1 с названием, короткий абзац о предложении и список ссылок на центральные страницы.
# Ваша компания > Описание в одном предложении. ## Важные страницы - [Продукт](https://ваш-домен.ru/product): … - [Цены](https://ваш-домен.ru/pricing): … - [О нас](https://ваш-домен.ru/about): …
Нет схемы Organization
JSON-LD есть, но нет записи «Organization». ИИ-системы тогда хуже позиционируют ваш бренд как отдельную сущность и хуже связывают его с внешними источниками.
Что вам следует сделать: Добавьте схему «Organization» с name, url, logo и sameAs (ссылки на ваши официальные профили).
Нет разметки FAQ или HowTo
Содержимое в формате «вопрос — ответ» и пошаговые инструкции без разметки FAQPage или HowTo сложнее распознать ИИ-системам как напрямую цитируемый ответ.
Что вам следует сделать: Там, где страница отвечает на реальные вопросы или даёт инструкции, разметьте её как FAQPage или HowTo (никакой разметки без видимого соответствующего содержимого).
Сигналы доверия и сущности (E-E-A-T)
Нет сигнала автора или авторства
Автор не распознаётся (ни meta-тег, ни rel=author, ни JSON-LD Person). Для «опыта» и «экспертизы» в смысле E-E-A-T важно названное, прослеживаемое авторство.
Что вам следует сделать: Для редакционного содержимого называйте автора по имени и связывайте страницу автора; размечайте его также как JSON-LD «Person».
Нет связей sameAs
В JSON-LD отсутствует «sameAs». С ним ИИ-системы чётко сопоставляют ваш бренд или человека с известными сущностями (Wikidata, LinkedIn, отраслевые каталоги).
Что вам следует сделать: Добавьте «sameAs» в Organization или Person с URL ваших официальных профилей и записей в каталогах.
В порядке (6)
- Основное содержимое в HTML без JavaScript.
- Структурированные данные (JSON-LD) присутствуют. — ItemList, Thing
- Установлен canonical URL.
- Sitemap доступен.
- Быстрое время ответа сервера.
- Нет noindex — страницу можно индексировать.
Следующие шаги
- Поисковые ИИ-боты заблокированы в robots.txt. Проверьте для каждого бота, намеренна ли блокировка. Если вы хотите исключить только обучение ИИ, заблокируйте обучающих ботов (GPTBot, ClaudeBot, Google-Extended) и разрешите поисковых.
- Заголовок страницы слишком короткий или слишком длинный. Напишите ёмкий заголовок, содержащий тему и при необходимости бренд.
- Не ровно один заголовок H1. Установите ровно один H1, называющий основную тему страницы. Всё под ним начинается с H2.
Еженедельное повторное сканирование с уведомлением по e-mail при каждом изменении. В подготовке — введите свой адрес.
Метод и границы
Проверено 24.09.2026. citeglass забирает heise.de и связанные файлы (robots.txt, llms.txt, sitemap.xml) через HTTP — один раз как обычный браузер, один раз для каждого user-agent'а ИИ-краулера. JavaScript не выполняется. Время до первого байта: 65 мс.
Чем это не является: Никакого отслеживания позиций или цитирований, никакого утверждения о том, называет ли модель вас на самом деле, и никакой проверки содержимого, загружаемого через JavaScript. Снимок с точки зрения одного серверного IP.