Перевірено 23.09.2026 · https://rehau-termopane.ro/
Для виявлюваності ШІ є 1 критичних перешкод — усуньте їх насамперед.
Матриця ШІ-краулерів
Для кожного бота: що дозволяє ваш robots.txt — і що сервер насправді повертає user-agent’у бота. Рядки, виділені червоним: robots дозволяє, але сервер блокує (зазвичай правило WAF або захисту від ботів).
| Бот | Оператор | robots.txt | Відповідь сервера |
|---|---|---|---|
| GPTBot | OpenAI | не вказано | заблоковано (403 / WAF) |
| OAI-SearchBot | OpenAI | не вказано | 200 + вміст |
| ChatGPT-User | OpenAI | не вказано | 200 + вміст |
| ClaudeBot | Anthropic | не вказано | 200 + вміст |
| Claude-SearchBot | Anthropic | не вказано | помилка / тайм-аут |
| Claude-User | Anthropic | не вказано | 200 + вміст |
| PerplexityBot | Perplexity | не вказано | помилка / тайм-аут |
| Perplexity-User | Perplexity | не вказано | помилка / тайм-аут |
| Google-Extended | Google (Gemini-Training) | не вказано | — |
| Googlebot | Google (KI-Übersichten) | не вказано | 200 + вміст |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | не вказано | 200 + вміст |
| Bytespider | ByteDance (Doubao) | не вказано | 200 + вміст |
| Amazonbot | Amazon (Alexa/Rufus) | не вказано | 200 + вміст |
| Applebot-Extended | Apple (Intelligence-Training) | не вказано | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | не вказано | заблоковано (403 / WAF) |
Як складається оцінка?
| Сервер блокує ботів, хоча robots.txt їх дозволяє | -12 |
| Немає llms.txt | -5 |
| sitemap.xml не знайдено | -4 |
| Рівні заголовків пропускаються | -3 |
| Немає зв’язків sameAs | -3 |
| robots.txt не знайдено | -2 |
| Немає розмітки FAQ або HowTo | -2 |
| Результат | 69 / 100 |
Доступ для ШІ-краулерів
Сервер блокує ботів, хоча robots.txt їх дозволяє
Для 2 бота(ів) від OpenAI, Meta (Llama/Meta AI) robots.txt каже «дозволено», але сервер відповідає 403 або сторінкою захисту від ботів. Зазвичай правило WAF, брандмауера або CDN закриває доступ краулеру в обхід robots.txt.
Що вам слід зробити: Додайте user-agent’и та/або діапазони IP потрібних ШІ-краулерів до списку дозволених у вашому WAF / Cloudflare / брандмауері. Перевіряйте їх за зворотним DNS, а не лише за рядком user-agent.
robots.txt не знайдено
За адресою /robots.txt не був доступний жоден дійсний файл. Краулери тоді виходять із «усе дозволено» — працює, але у вас немає керування й немає сигналу sitemap.
Що вам слід зробити: Створіть robots.txt у кореневому каталозі, щонайменше з посиланням на sitemap і потрібними правилами allow/disallow.
User-agent: * Allow: / Sitemap: https://ваш-домен.ua/sitemap.xml
Структура і машинна зрозумілість
Немає llms.txt
За адресою /llms.txt немає файлу. llms.txt — це короткий огляд вашого ключового вмісту в Markdown, який деякі ШІ-системи використовують для орієнтації.
Що вам слід зробити: Створіть /llms.txt: H1 з назвою, короткий абзац про пропозицію й список посилань на центральні сторінки.
# Ваша компанія > Опис в одному реченні. ## Важливі сторінки - [Продукт](https://ваш-домен.ua/product): … - [Ціни](https://ваш-домен.ua/pricing): … - [Про нас](https://ваш-домен.ua/about): …
Рівні заголовків пропускаються
Послідовність заголовків пропускає щонайменше один рівень (наприклад, з H2 одразу на H4). Це ускладнює автоматичне відновлення структури вмісту.
Що вам слід зробити: Використовуйте рівні заголовків без пропусків і по порядку (H1 → H2 → H3 …).
Немає розмітки FAQ або HowTo
Вміст у форматі «запитання — відповідь» і покрокові інструкції без розмітки FAQPage або HowTo складніше розпізнати ШІ-системам як напряму цитовану відповідь.
Що вам слід зробити: Там, де сторінка відповідає на реальні запитання або дає інструкції, розмітьте її як FAQPage або HowTo (жодної розмітки без видимого відповідного вмісту).
Сигнали довіри та сутності (E-E-A-T)
Немає зв’язків sameAs
У JSON-LD відсутнє «sameAs». З ним ШІ-системи чітко зіставляють ваш бренд або особу з відомими сутностями (Wikidata, LinkedIn, галузеві каталоги).
Що вам слід зробити: Додайте «sameAs» в Organization або Person з URL ваших офіційних профілів і записів у каталогах.
Технічна основа
sitemap.xml не знайдено
За адресою /sitemap.xml не був доступний дійсний XML-sitemap, і robots.txt не називає жодного. Sitemap допомагає краулерам знайти всі релевантні URL.
Що вам слід зробити: Згенеруйте sitemap.xml з усіма індексованими URL і пошліться на нього в robots.txt.
У порядку (8)
- Основний вміст у HTML без JavaScript.
- Структуровані дані (JSON-LD) наявні. — HomeAndConstructionBusiness, Organization, WebSite, ImageObject, WebPage, Person, Article, VideoObject
- Організацію розмічено як JSON-LD.
- Рівно один заголовок H1.
- Встановлено canonical URL.
- Заголовок сторінки має розумну довжину.
- Сигнал авторства наявний.
- Швидкий час відповіді сервера.
Наступні кроки
- Сервер блокує ботів, хоча robots.txt їх дозволяє. Додайте user-agent’и та/або діапазони IP потрібних ШІ-краулерів до списку дозволених у вашому WAF / Cloudflare / брандмауері. Перевіряйте їх за зворотним DNS, а не лише за рядком user-agent.
- Немає llms.txt. Створіть /llms.txt: H1 з назвою, короткий абзац про пропозицію й список посилань на центральні сторінки.
- sitemap.xml не знайдено. Згенеруйте sitemap.xml з усіма індексованими URL і пошліться на нього в robots.txt.
Щотижневе повторне сканування зі сповіщенням електронною поштою за кожної зміни. У підготовці — введіть свою адресу.
Метод і межі
Перевірено 23.09.2026. citeglass забирає rehau-termopane.ro і пов’язані файли (robots.txt, llms.txt, sitemap.xml) через HTTP — один раз як звичайний браузер, один раз для кожного user-agent’а ШІ-краулера. JavaScript не виконується. Час до першого байта: 774 мс.
Чим це не є: Жодного відстеження позицій чи цитувань, жодного твердження про те, чи називає модель вас насправді, і жодної перевірки вмісту, що завантажується через JavaScript. Знімок з погляду одного серверного IP.