Проверено 24.09.2026 · https://www.heise.de/
Жёстких препятствий нет, но 2 пунктов ослабляют обнаруживаемость ИИ.
Матрица ИИ-краулеров
Для каждого бота: что разрешает ваш robots.txt — и что сервер на самом деле возвращает user-agent'у бота. Строки, выделенные красным: robots разрешает, но сервер блокирует (обычно правило WAF или защиты от ботов).
| Бот | Оператор | robots.txt | Ответ сервера |
|---|---|---|---|
| GPTBot | OpenAI | разрешено | 200 + содержимое |
| OAI-SearchBot | OpenAI | разрешено | 200 + содержимое |
| ChatGPT-User | OpenAI | разрешено | 200 + содержимое |
| ClaudeBot | Anthropic | разрешено | 200 + содержимое |
| Claude-SearchBot | Anthropic | разрешено | 200 + содержимое |
| Claude-User | Anthropic | разрешено | 200 + содержимое |
| PerplexityBot | Perplexity | разрешено | 200 + содержимое |
| Perplexity-User | Perplexity | разрешено | 200 + содержимое |
| Google-Extended | Google (Gemini-Training) | заблокировано | — |
| Googlebot | Google (KI-Übersichten) | разрешено (через User-agent: *) | 200 + содержимое |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | заблокировано | 200 + содержимое |
| Bytespider | ByteDance (Doubao) | заблокировано | 200 + содержимое |
| Amazonbot | Amazon (Alexa/Rufus) | заблокировано | 200 + содержимое |
| Applebot-Extended | Apple (Intelligence-Training) | заблокировано | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | заблокировано | 200 + содержимое |
Как складывается оценка?
| Заголовок страницы слишком короткий или слишком длинный | -6 |
| Не ровно один заголовок H1 | -5 |
| Нет llms.txt | -5 |
| Нет схемы Organization | -4 |
| Нет сигнала автора или авторства | -4 |
| Нет связей sameAs | -3 |
| Нет разметки FAQ или HowTo | -2 |
| Результат | 71 / 100 |
Доступ для ИИ-краулеров
Обучение ИИ исключено
Ваш robots.txt блокирует краулеры, собирающие контент для обучения языковых моделей: Google-Extended, CCBot, Applebot-Extended. Это не мешает цитированию — поисковые и загружающие боты, такие как OAI-SearchBot, PerplexityBot и Googlebot для AI Overviews, работают отдельно.
Что вам следует сделать: Ничего делать не нужно, если исключение намеренное. Просто следите, чтобы поисковые боты оставались разрешены.
Структура и машинная понятность
Заголовок страницы слишком короткий или слишком длинный
<title> имеет длину 67 символов. Разумно около 30–60 символов: достаточно описательно, чтобы назвать тему, достаточно кратко, чтобы не обрезаться.
Что вам следует сделать: Напишите ёмкий заголовок, содержащий тему и при необходимости бренд.
Не ровно один заголовок H1
На странице 0 заголовков H1. Один однозначный H1 говорит людям и машинам, о чём страница прежде всего.
Что вам следует сделать: Установите ровно один H1, называющий основную тему страницы. Всё под ним начинается с H2.
Нет llms.txt
По адресу /llms.txt нет файла. llms.txt — это краткий обзор вашего ключевого содержимого в Markdown, который некоторые ИИ-системы используют для ориентации.
Что вам следует сделать: Создайте /llms.txt: H1 с названием, короткий абзац о предложении и список ссылок на центральные страницы.
# Ваша компания > Описание в одном предложении. ## Важные страницы - [Продукт](https://ваш-домен.ru/product): … - [Цены](https://ваш-домен.ru/pricing): … - [О нас](https://ваш-домен.ru/about): …
Нет схемы Organization
JSON-LD есть, но нет записи «Organization». ИИ-системы тогда хуже позиционируют ваш бренд как отдельную сущность и хуже связывают его с внешними источниками.
Что вам следует сделать: Добавьте схему «Organization» с name, url, logo и sameAs (ссылки на ваши официальные профили).
Нет разметки FAQ или HowTo
Содержимое в формате «вопрос — ответ» и пошаговые инструкции без разметки FAQPage или HowTo сложнее распознать ИИ-системам как напрямую цитируемый ответ.
Что вам следует сделать: Там, где страница отвечает на реальные вопросы или даёт инструкции, разметьте её как FAQPage или HowTo (никакой разметки без видимого соответствующего содержимого).
Сигналы доверия и сущности (E-E-A-T)
Нет сигнала автора или авторства
Автор не распознаётся (ни meta-тег, ни rel=author, ни JSON-LD Person). Для «опыта» и «экспертизы» в смысле E-E-A-T важно названное, прослеживаемое авторство.
Что вам следует сделать: Для редакционного содержимого называйте автора по имени и связывайте страницу автора; размечайте его также как JSON-LD «Person».
Нет связей sameAs
В JSON-LD отсутствует «sameAs». С ним ИИ-системы чётко сопоставляют ваш бренд или человека с известными сущностями (Wikidata, LinkedIn, отраслевые каталоги).
Что вам следует сделать: Добавьте «sameAs» в Organization или Person с URL ваших официальных профилей и записей в каталогах.
В порядке (6)
- Основное содержимое в HTML без JavaScript.
- Структурированные данные (JSON-LD) присутствуют. — ItemList, Thing
- Установлен canonical URL.
- Sitemap доступен.
- Быстрое время ответа сервера.
- Нет noindex — страницу можно индексировать.
Следующие шаги
- Заголовок страницы слишком короткий или слишком длинный. Напишите ёмкий заголовок, содержащий тему и при необходимости бренд.
- Не ровно один заголовок H1. Установите ровно один H1, называющий основную тему страницы. Всё под ним начинается с H2.
- Нет llms.txt. Создайте /llms.txt: H1 с названием, короткий абзац о предложении и список ссылок на центральные страницы.
Еженедельное повторное сканирование с уведомлением по e-mail при каждом изменении. В подготовке — введите свой адрес.
Метод и границы
Проверено 24.09.2026. citeglass забирает heise.de и связанные файлы (robots.txt, llms.txt, sitemap.xml) через HTTP — один раз как обычный браузер, один раз для каждого user-agent'а ИИ-краулера. JavaScript не выполняется. Время до первого байта: 67 мс.
Чем это не является: Никакого отслеживания позиций или цитирований, никакого утверждения о том, называет ли модель вас на самом деле, и никакой проверки содержимого, загружаемого через JavaScript. Снимок с точки зрения одного серверного IP.