Видимість nytimes.com для ШІ: 38/100

Перевірено 04.09.2026 · https://www.nytimes.com/

Для виявлюваності ШІ є 2 критичних перешкод — усуньте їх насамперед.

38 / 100

2 критичних · 1 для перевірки

Матриця ШІ-краулерів

Для кожного бота: що дозволяє ваш robots.txt — і що сервер насправді повертає user-agent’у бота. Рядки, виділені червоним: robots дозволяє, але сервер блокує (зазвичай правило WAF або захисту від ботів).

Бот	Оператор	robots.txt	Відповідь сервера
GPTBot	OpenAI	заблоковано	заблоковано (403 / WAF)
OAI-SearchBot	OpenAI	заблоковано	заблоковано (403 / WAF)
ChatGPT-User	OpenAI	заблоковано	заблоковано (403 / WAF)
ClaudeBot	Anthropic	заблоковано	заблоковано (403 / WAF)
Claude-SearchBot	Anthropic	заблоковано	заблоковано (403 / WAF)
Claude-User	Anthropic	заблоковано	заблоковано (403 / WAF)
PerplexityBot	Perplexity	заблоковано	заблоковано (403 / WAF)
Perplexity-User	Perplexity	заблоковано	заблоковано (403 / WAF)
Google-Extended	Google (Gemini-Training)	заблоковано	—
Googlebot	Google (KI-Übersichten)	дозволено	200 + вміст
CCBot	Common Crawl (Trainingsdaten vieler LLMs)	заблоковано	заблоковано (403 / WAF)
Bytespider	ByteDance (Doubao)	заблоковано	заблоковано (403 / WAF)
Amazonbot	Amazon (Alexa/Rufus)	дозволено	заблоковано (403 / WAF)
Applebot-Extended	Apple (Intelligence-Training)	заблоковано	—
Meta-ExternalAgent	Meta (Llama/Meta AI)	заблоковано	заблоковано (403 / WAF)

Як складається оцінка?

Важливі ШІ-краулери заблоковані в robots.txt	-32
Сервер блокує ботів, хоча robots.txt їх дозволяє	-6
Заголовок сторінки надто короткий або надто довгий	-6
Немає llms.txt	-5
Немає схеми Organization	-4
Немає сигналу автора чи авторства	-4
Немає видимої або розміченої дати	-3
Немає розмітки FAQ або HowTo	-2
Результат	38 / 100

Доступ для ШІ-краулерів

критично

Важливі ШІ-краулери заблоковані в robots.txt

Ваш robots.txt забороняє доступ 5 ключовим ШІ-краулерам: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended. Ці системи тоді не можуть завантажити ваш вміст і використати його як джерело.

Що вам слід зробити: Перевірте по кожному боту, чи навмисне блокування. Для видимості ШІ мають бути дозволені щонайменше GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot і Google-Extended.

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

критично

Сервер блокує ботів, хоча robots.txt їх дозволяє

Для 1 бота(ів) від Amazon (Alexa/Rufus) robots.txt каже «дозволено», але сервер відповідає 403 або сторінкою захисту від ботів. Зазвичай правило WAF, брандмауера або CDN закриває доступ краулеру в обхід robots.txt.

Що вам слід зробити: Додайте user-agent’и та/або діапазони IP потрібних ШІ-краулерів до списку дозволених у вашому WAF / Cloudflare / брандмауері. Перевіряйте їх за зворотним DNS, а не лише за рядком user-agent.

Структура і машинна зрозумілість

перевірити

Заголовок сторінки надто короткий або надто довгий

<title> має довжину 66 символів. Розумно близько 30–60 символів: достатньо описово, щоб назвати тему, достатньо коротко, щоб не обрізатися.

Що вам слід зробити: Напишіть стислий заголовок, що містить тему й за потреби бренд.

примітка

Немає llms.txt

За адресою /llms.txt немає файлу. llms.txt — це короткий огляд вашого ключового вмісту в Markdown, який деякі ШІ-системи використовують для орієнтації.

Що вам слід зробити: Створіть /llms.txt: H1 з назвою, короткий абзац про пропозицію й список посилань на центральні сторінки.

# Ваша компанія

> Опис в одному реченні.

## Важливі сторінки
- [Продукт](https://ваш-домен.ua/product): …
- [Ціни](https://ваш-домен.ua/pricing): …
- [Про нас](https://ваш-домен.ua/about): …

примітка

Немає схеми Organization

JSON-LD є, але немає запису «Organization». ШІ-системи тоді гірше позиціонують ваш бренд як окрему сутність і гірше пов’язують його із зовнішніми джерелами.

Що вам слід зробити: Додайте схему «Organization» з name, url, logo і sameAs (посилання на ваші офіційні профілі).

примітка

Немає розмітки FAQ або HowTo

Вміст у форматі «запитання — відповідь» і покрокові інструкції без розмітки FAQPage або HowTo складніше розпізнати ШІ-системам як напряму цитовану відповідь.

Що вам слід зробити: Там, де сторінка відповідає на реальні запитання або дає інструкції, розмітьте її як FAQPage або HowTo (жодної розмітки без видимого відповідного вмісту).

Сигнали довіри та сутності (E-E-A-T)

примітка

Немає сигналу автора чи авторства

Автор не розпізнається (ні meta-тег, ні rel=author, ні JSON-LD Person). Для «досвіду» та «експертизи» в сенсі E-E-A-T важливе назване, простежуване авторство.

Що вам слід зробити: Для редакційного вмісту називайте автора на ім’я й пов’язуйте сторінку автора; розмічайте його також як JSON-LD «Person».

примітка

Немає видимої або розміченої дати

Не розпізнається дата публікації чи зміни (ні <time>, ні article:published_time, ні datePublished у JSON-LD). Для багатьох запитань ШІ-системи віддають перевагу актуальним джерелам.

Що вам слід зробити: Для вмісту, прив’язаного до часу, показуйте дату помітно й розмічайте datePublished / dateModified у JSON-LD.

У порядку (7)

Основний вміст у HTML без JavaScript.
Структуровані дані (JSON-LD) наявні. — WebSite, NewsMediaOrganization
Рівно один заголовок H1.
Встановлено canonical URL.
Sitemap доступний.
Швидкий час відповіді сервера.
Немає noindex — сторінку можна індексувати.

Наступні кроки

Важливі ШІ-краулери заблоковані в robots.txt. Перевірте по кожному боту, чи навмисне блокування. Для видимості ШІ мають бути дозволені щонайменше GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot і Google-Extended.
Сервер блокує ботів, хоча robots.txt їх дозволяє. Додайте user-agent’и та/або діапазони IP потрібних ШІ-краулерів до списку дозволених у вашому WAF / Cloudflare / брандмауері. Перевіряйте їх за зворотним DNS, а не лише за рядком user-agent.
Заголовок сторінки надто короткий або надто довгий. Напишіть стислий заголовок, що містить тему й за потреби бренд.

Моніторити цю сторінку

Щотижневе повторне сканування зі сповіщенням електронною поштою за кожної зміни. У підготовці — введіть свою адресу.

Метод і межі

Перевірено 04.09.2026. citeglass забирає nytimes.com і пов’язані файли (robots.txt, llms.txt, sitemap.xml) через HTTP — один раз як звичайний браузер, один раз для кожного user-agent’а ШІ-краулера. JavaScript не виконується. Час до першого байта: 235 мс.

Чим це не є: Жодного відстеження позицій чи цитувань, жодного твердження про те, чи називає модель вас насправді, і жодної перевірки вмісту, що завантажується через JavaScript. Знімок з погляду одного серверного IP.

Перевірити інший сайт