Проверено на 24.09.2026 г. · https://www.nytimes.com/
Има 2 критични блокировки за откриваемостта чрез ИИ — отстранете ги първо.
Матрица на ИИ роботите
За всеки робот: какво разрешава вашият robots.txt — и какво реално връща вашият сървър на потребителския агент на робота. Редове, маркирани в червено: robots го разрешава, но сървърът го блокира (обикновено правило на WAF или защита срещу ботове).
| Робот | Оператор | robots.txt | Отговор на сървъра |
|---|---|---|---|
| GPTBot | OpenAI | блокирано | блокирано (403 / WAF) |
| OAI-SearchBot | OpenAI | блокирано | блокирано (403 / WAF) |
| ChatGPT-User | OpenAI | блокирано | блокирано (403 / WAF) |
| ClaudeBot | Anthropic | блокирано | блокирано (403 / WAF) |
| Claude-SearchBot | Anthropic | блокирано | блокирано (403 / WAF) |
| Claude-User | Anthropic | блокирано | блокирано (403 / WAF) |
| PerplexityBot | Perplexity | блокирано | блокирано (403 / WAF) |
| Perplexity-User | Perplexity | блокирано | блокирано (403 / WAF) |
| Google-Extended | Google (Gemini-Training) | блокирано | — |
| Googlebot | Google (KI-Übersichten) | разрешено | блокирано (403 / WAF) |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | блокирано | блокирано (403 / WAF) |
| Bytespider | ByteDance (Doubao) | блокирано | блокирано (403 / WAF) |
| Amazonbot | Amazon (Alexa/Rufus) | разрешено | блокирано (403 / WAF) |
| Applebot-Extended | Apple (Intelligence-Training) | блокирано | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | блокирано | блокирано (403 / WAF) |
Как се формира оценката?
| AI ботове за търсене са блокирани в robots.txt | -32 |
| Сървърът блокира роботи, макар че robots.txt ги разрешава | -12 |
| Много малко текст в HTML | -10 |
| Няма структурирани данни (JSON-LD) | -8 |
| Заглавието на страницата е твърде кратко или твърде дълго | -6 |
| Не точно едно заглавие H1 | -5 |
| Мета описанието липсва или не съответства | -5 |
| Няма llms.txt | -5 |
| Няма сигнал за автор или авторство | -4 |
| Няма връзки sameAs | -3 |
| Няма връзка към правна информация / за нас / контакт | -3 |
| Няма видима или маркирана дата | -3 |
| Няма canonical URL | -3 |
| Резултат | 1 / 100 |
Достъп за ИИ роботи
AI ботове за търсене са блокирани в robots.txt
Вашият robots.txt блокира 6 бота, които извличат съдържание за отговорите на AI асистенти и търсачки: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User. Докато са блокирани, сайтът ви не може да се появи там като източник.
Ето какво трябва да направите: Проверете за всеки бот дали блокирането е умишлено. Ако искате да изключите само обучението на AI, блокирайте ботовете за обучение (GPTBot, ClaudeBot, Google-Extended) и разрешете ботовете за търсене.
User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: /
Сървърът блокира роботи, макар че robots.txt ги разрешава
За 2 робота от Google (KI-Übersichten), Amazon (Alexa/Rufus) robots.txt казва „разрешено“, но сървърът отговаря с 403 или страница за защита срещу ботове. Обикновено правило на WAF, защитна стена или CDN, което изключва робота, заобикаляйки robots.txt.
Ето какво трябва да направите: Добавете потребителските агенти и/или IP диапазоните на желаните ИИ роботи към списък с разрешени във вашия WAF / Cloudflare / защитна стена. Проверете ги чрез обратен DNS, а не само по низа на потребителския агент.
Обучението на AI е изключено
Вашият robots.txt блокира роботи, които събират съдържание за обучение на езикови модели: GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended. Това не пречи на цитирането — ботовете за търсене и извличане като OAI-SearchBot, PerplexityBot и Googlebot за AI Overviews са отделни.
Ето какво трябва да направите: Нищо не е нужно, ако изключването е умишлено. Само се уверете, че ботовете за търсене остават разрешени.
Съдържание без JavaScript
Много малко текст в HTML
Първоначалният HTML съдържа само около 55 знака видим текст. Това едва стига, за да могат ИИ системите сигурно да схванат темата на страницата.
Ето какво трябва да направите: Уверете се, че действителното съдържание е изцяло в HTML, а не в изображения, iframe-ове или блокове, заредени чрез JavaScript.
Структура и машинно разбиране
Няма структурирани данни (JSON-LD)
Страницата не съдържа JSON-LD. Структурираните данни помагат на ИИ системите да разпознаят недвусмислено същности, автор, организация, дата и тип страница — без тях всичко трябва да се отгатва от текста.
Ето какво трябва да направите: Добавете поне схема „Organization“ и една, подходяща за типа страница (Article, Product, FAQPage …), като JSON-LD в <head>.
<script type="application/ld+json">
{"@context":"https://schema.org","@type":"Organization",
"name":"Вашата фирма","url":"https://vashiyat-domеyn.bg",
"sameAs":["https://www.linkedin.com/company/…"]}
</script>Заглавието на страницата е твърде кратко или твърде дълго
<title> е с дължина 11 знака. Разумно е около 30–60 знака: достатъчно описателно, за да назове темата, достатъчно кратко, за да не бъде отрязано.
Ето какво трябва да направите: Напишете сбито заглавие, което съдържа темата и при нужда марката.
Не точно едно заглавие H1
Страницата има 0 заглавия H1. Едно недвусмислено H1 казва на хора и машини за какво е страницата преди всичко.
Ето какво трябва да направите: Задайте точно едно H1, което назовава основната тема на страницата. Всичко под него започва от H2.
Мета описанието липсва или не съответства
Мета описанието е с дължина 0 знака. Често е първото, което ИИ системите и търсачките четат като резюме на страницата.
Ето какво трябва да направите: Напишете самостоятелно резюме на страницата в едно или две изречения (около 120–200 знака), а не поредица от ключови думи.
Няма llms.txt
На /llms.txt няма файл. llms.txt е кратък преглед на ключовото ви съдържание в Markdown, който някои ИИ системи използват за ориентация.
Ето какво трябва да направите: Създайте /llms.txt: H1 с името, кратък абзац за офертата и списък с връзки към централните страници.
# Вашата фирма > Описание в едно изречение. ## Важни страници - [Продукт](https://vashiyat-domеyn.bg/produkt): … - [Цени](https://vashiyat-domеyn.bg/tseni): … - [За нас](https://vashiyat-domеyn.bg/za-nas): …
Сигнали за доверие и същност (E-E-A-T)
Няма сигнал за автор или авторство
Не се разпознава автор (нито мета таг, нито rel=author, нито JSON-LD Person). За „опит“ и „експертиза“ в смисъла на E-E-A-T се брои назовано, проследимо авторство.
Ето какво трябва да направите: При редакционно съдържание назовете автор по име и свържете авторска страница; маркирайте го и като JSON-LD „Person“.
Няма връзки sameAs
В JSON-LD липсва „sameAs“. С него ИИ системите ясно свързват марката или личността ви с известни същности (Wikidata, LinkedIn, отраслови указатели).
Ето какво трябва да направите: Добавете „sameAs“ в Organization или Person с URL адресите на официалните ви профили и записи в указатели.
Няма връзка към правна информация / за нас / контакт
На проверената страница не се разпознава връзка към правна информация, страница „За нас“ или контакт. Такива страници са силен сигнал за доверие и помагат при свързването на същността.
Ето какво трябва да направите: Свържете правната информация или „За нас“ и контакта видимо, обикновено в долния колонтитул на всяка страница.
Няма видима или маркирана дата
Не се разпознава дата на публикуване или промяна (нито <time>, нито article:published_time, нито datePublished в JSON-LD). При много въпроси ИИ системите предпочитат актуални източници.
Ето какво трябва да направите: При съдържание с времева обвързаност показвайте дата видимо и маркирайте datePublished / dateModified в JSON-LD.
Техническа основа
Няма canonical URL
Страницата не задава <link rel="canonical">. Без canonical може да остане неясно коя версия е меродавна, когато има няколко варианта на URL.
Ето какво трябва да направите: Задайте на всяка страница самопрепращащ <link rel="canonical"> с предпочитания URL.
Наред (3)
- Sitemap е достъпен.
- Бързо време за отговор на сървъра.
- Няма noindex — страницата може да се индексира.
Следващи стъпки
- AI ботове за търсене са блокирани в robots.txt. Проверете за всеки бот дали блокирането е умишлено. Ако искате да изключите само обучението на AI, блокирайте ботовете за обучение (GPTBot, ClaudeBot, Google-Extended) и разрешете ботовете за търсене.
- Сървърът блокира роботи, макар че robots.txt ги разрешава. Добавете потребителските агенти и/или IP диапазоните на желаните ИИ роботи към списък с разрешени във вашия WAF / Cloudflare / защитна стена. Проверете ги чрез обратен DNS, а не само по низа на потребителския агент.
- Много малко текст в HTML. Уверете се, че действителното съдържание е изцяло в HTML, а не в изображения, iframe-ове или блокове, заредени чрез JavaScript.
Седмично повторно сканиране с известие по имейл при всяка промяна. В подготовка — въведете адреса си.
Метод и граници
Проверено на 24.09.2026 г.. citeglass изтегля nytimes.com и свързаните файлове (robots.txt, llms.txt, sitemap.xml) чрез HTTP — веднъж като обикновен браузър, веднъж за всеки потребителски агент на ИИ робот. Не се изпълнява JavaScript. Време до първия байт: 99 ms.
Какво не е това: Без проследяване на позиции или цитирания, без твърдение дали един модел действително ви назовава, и без проверка на съдържание, заредено чрез JavaScript. Моментна снимка от гледна точка на един сървърен IP.