Перевірено 24.09.2026 · https://www.heise.de/
Жорстких перешкод немає, але 2 пунктів послаблюють виявлюваність ШІ.
Матриця ШІ-краулерів
Для кожного бота: що дозволяє ваш robots.txt — і що сервер насправді повертає user-agent’у бота. Рядки, виділені червоним: robots дозволяє, але сервер блокує (зазвичай правило WAF або захисту від ботів).
| Бот | Оператор | robots.txt | Відповідь сервера |
|---|---|---|---|
| GPTBot | OpenAI | дозволено | 200 + вміст |
| OAI-SearchBot | OpenAI | дозволено | 200 + вміст |
| ChatGPT-User | OpenAI | дозволено | 200 + вміст |
| ClaudeBot | Anthropic | дозволено | 200 + вміст |
| Claude-SearchBot | Anthropic | дозволено | 200 + вміст |
| Claude-User | Anthropic | дозволено | 200 + вміст |
| PerplexityBot | Perplexity | дозволено | 200 + вміст |
| Perplexity-User | Perplexity | дозволено | 200 + вміст |
| Google-Extended | Google (Gemini-Training) | заблоковано | — |
| Googlebot | Google (KI-Übersichten) | дозволено (через User-agent: *) | 200 + вміст |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | заблоковано | 200 + вміст |
| Bytespider | ByteDance (Doubao) | заблоковано | 200 + вміст |
| Amazonbot | Amazon (Alexa/Rufus) | заблоковано | 200 + вміст |
| Applebot-Extended | Apple (Intelligence-Training) | заблоковано | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | заблоковано | 200 + вміст |
Як складається оцінка?
| Заголовок сторінки надто короткий або надто довгий | -6 |
| Не рівно один заголовок H1 | -5 |
| Немає llms.txt | -5 |
| Немає схеми Organization | -4 |
| Немає сигналу автора чи авторства | -4 |
| Немає зв’язків sameAs | -3 |
| Немає розмітки FAQ або HowTo | -2 |
| Результат | 71 / 100 |
Доступ для ШІ-краулерів
Навчання ШІ виключено
Ваш robots.txt блокує краулери, що збирають контент для навчання мовних моделей: Google-Extended, CCBot, Applebot-Extended. Це не заважає цитуванню — пошукові й завантажувальні боти, як-от OAI-SearchBot, PerplexityBot і Googlebot для AI Overviews, працюють окремо.
Що вам слід зробити: Нічого робити не потрібно, якщо виключення навмисне. Лише стежте, щоб пошукові боти залишалися дозволеними.
Структура і машинна зрозумілість
Заголовок сторінки надто короткий або надто довгий
<title> має довжину 67 символів. Розумно близько 30–60 символів: достатньо описово, щоб назвати тему, достатньо коротко, щоб не обрізатися.
Що вам слід зробити: Напишіть стислий заголовок, що містить тему й за потреби бренд.
Не рівно один заголовок H1
На сторінці 0 заголовків H1. Один однозначний H1 говорить людям і машинам, про що сторінка передусім.
Що вам слід зробити: Встановіть рівно один H1, що називає основну тему сторінки. Усе під ним починається з H2.
Немає llms.txt
За адресою /llms.txt немає файлу. llms.txt — це короткий огляд вашого ключового вмісту в Markdown, який деякі ШІ-системи використовують для орієнтації.
Що вам слід зробити: Створіть /llms.txt: H1 з назвою, короткий абзац про пропозицію й список посилань на центральні сторінки.
# Ваша компанія > Опис в одному реченні. ## Важливі сторінки - [Продукт](https://ваш-домен.ua/product): … - [Ціни](https://ваш-домен.ua/pricing): … - [Про нас](https://ваш-домен.ua/about): …
Немає схеми Organization
JSON-LD є, але немає запису «Organization». ШІ-системи тоді гірше позиціонують ваш бренд як окрему сутність і гірше пов’язують його із зовнішніми джерелами.
Що вам слід зробити: Додайте схему «Organization» з name, url, logo і sameAs (посилання на ваші офіційні профілі).
Немає розмітки FAQ або HowTo
Вміст у форматі «запитання — відповідь» і покрокові інструкції без розмітки FAQPage або HowTo складніше розпізнати ШІ-системам як напряму цитовану відповідь.
Що вам слід зробити: Там, де сторінка відповідає на реальні запитання або дає інструкції, розмітьте її як FAQPage або HowTo (жодної розмітки без видимого відповідного вмісту).
Сигнали довіри та сутності (E-E-A-T)
Немає сигналу автора чи авторства
Автор не розпізнається (ні meta-тег, ні rel=author, ні JSON-LD Person). Для «досвіду» та «експертизи» в сенсі E-E-A-T важливе назване, простежуване авторство.
Що вам слід зробити: Для редакційного вмісту називайте автора на ім’я й пов’язуйте сторінку автора; розмічайте його також як JSON-LD «Person».
Немає зв’язків sameAs
У JSON-LD відсутнє «sameAs». З ним ШІ-системи чітко зіставляють ваш бренд або особу з відомими сутностями (Wikidata, LinkedIn, галузеві каталоги).
Що вам слід зробити: Додайте «sameAs» в Organization або Person з URL ваших офіційних профілів і записів у каталогах.
У порядку (6)
- Основний вміст у HTML без JavaScript.
- Структуровані дані (JSON-LD) наявні. — ItemList, Thing
- Встановлено canonical URL.
- Sitemap доступний.
- Швидкий час відповіді сервера.
- Немає noindex — сторінку можна індексувати.
Наступні кроки
- Заголовок сторінки надто короткий або надто довгий. Напишіть стислий заголовок, що містить тему й за потреби бренд.
- Не рівно один заголовок H1. Встановіть рівно один H1, що називає основну тему сторінки. Усе під ним починається з H2.
- Немає llms.txt. Створіть /llms.txt: H1 з назвою, короткий абзац про пропозицію й список посилань на центральні сторінки.
Щотижневе повторне сканування зі сповіщенням електронною поштою за кожної зміни. У підготовці — введіть свою адресу.
Метод і межі
Перевірено 24.09.2026. citeglass забирає heise.de і пов’язані файли (robots.txt, llms.txt, sitemap.xml) через HTTP — один раз як звичайний браузер, один раз для кожного user-agent’а ШІ-краулера. JavaScript не виконується. Час до першого байта: 67 мс.
Чим це не є: Жодного відстеження позицій чи цитувань, жодного твердження про те, чи називає модель вас насправді, і жодної перевірки вмісту, що завантажується через JavaScript. Знімок з погляду одного серверного IP.