Проверено на 4.09.2026 г. · https://www.nytimes.com/
Има 2 критични блокировки за откриваемостта чрез ИИ — отстранете ги първо.
Матрица на ИИ роботите
За всеки робот: какво разрешава вашият robots.txt — и какво реално връща вашият сървър на потребителския агент на робота. Редове, маркирани в червено: robots го разрешава, но сървърът го блокира (обикновено правило на WAF или защита срещу ботове).
| Робот | Оператор | robots.txt | Отговор на сървъра |
|---|---|---|---|
| GPTBot | OpenAI | блокирано | блокирано (403 / WAF) |
| OAI-SearchBot | OpenAI | блокирано | блокирано (403 / WAF) |
| ChatGPT-User | OpenAI | блокирано | блокирано (403 / WAF) |
| ClaudeBot | Anthropic | блокирано | блокирано (403 / WAF) |
| Claude-SearchBot | Anthropic | блокирано | блокирано (403 / WAF) |
| Claude-User | Anthropic | блокирано | блокирано (403 / WAF) |
| PerplexityBot | Perplexity | блокирано | блокирано (403 / WAF) |
| Perplexity-User | Perplexity | блокирано | блокирано (403 / WAF) |
| Google-Extended | Google (Gemini-Training) | блокирано | — |
| Googlebot | Google (KI-Übersichten) | разрешено | 200 + съдържание |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | блокирано | блокирано (403 / WAF) |
| Bytespider | ByteDance (Doubao) | блокирано | блокирано (403 / WAF) |
| Amazonbot | Amazon (Alexa/Rufus) | разрешено | блокирано (403 / WAF) |
| Applebot-Extended | Apple (Intelligence-Training) | блокирано | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | блокирано | блокирано (403 / WAF) |
Как се формира оценката?
| Важни ИИ роботи са блокирани в robots.txt | -32 |
| Сървърът блокира роботи, макар че robots.txt ги разрешава | -6 |
| Заглавието на страницата е твърде кратко или твърде дълго | -6 |
| Няма llms.txt | -5 |
| Няма схема Organization | -4 |
| Няма сигнал за автор или авторство | -4 |
| Няма видима или маркирана дата | -3 |
| Няма маркиране FAQ или HowTo | -2 |
| Резултат | 38 / 100 |
Достъп за ИИ роботи
Важни ИИ роботи са блокирани в robots.txt
Вашият robots.txt забранява достъпа на 5 ключови ИИ робота: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended. Тези системи тогава не могат да заредят съдържанието ви, нито да го използват като източник.
Ето какво трябва да направите: Проверете за всеки робот дали блокирането е умишлено. За видимост чрез ИИ трябва да са разрешени поне GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot и Google-Extended.
User-agent: GPTBot Allow: / User-agent: PerplexityBot Allow: /
Сървърът блокира роботи, макар че robots.txt ги разрешава
За 1 робота от Amazon (Alexa/Rufus) robots.txt казва „разрешено“, но сървърът отговаря с 403 или страница за защита срещу ботове. Обикновено правило на WAF, защитна стена или CDN, което изключва робота, заобикаляйки robots.txt.
Ето какво трябва да направите: Добавете потребителските агенти и/или IP диапазоните на желаните ИИ роботи към списък с разрешени във вашия WAF / Cloudflare / защитна стена. Проверете ги чрез обратен DNS, а не само по низа на потребителския агент.
Структура и машинно разбиране
Заглавието на страницата е твърде кратко или твърде дълго
<title> е с дължина 66 знака. Разумно е около 30–60 знака: достатъчно описателно, за да назове темата, достатъчно кратко, за да не бъде отрязано.
Ето какво трябва да направите: Напишете сбито заглавие, което съдържа темата и при нужда марката.
Няма llms.txt
На /llms.txt няма файл. llms.txt е кратък преглед на ключовото ви съдържание в Markdown, който някои ИИ системи използват за ориентация.
Ето какво трябва да направите: Създайте /llms.txt: H1 с името, кратък абзац за офертата и списък с връзки към централните страници.
# Вашата фирма > Описание в едно изречение. ## Важни страници - [Продукт](https://vashiyat-domеyn.bg/produkt): … - [Цени](https://vashiyat-domеyn.bg/tseni): … - [За нас](https://vashiyat-domеyn.bg/za-nas): …
Няма схема Organization
Има JSON-LD, но няма запис „Organization“. ИИ системите тогава по-слабо позиционират марката ви като отделна същност и по-слабо я свързват с външни източници.
Ето какво трябва да направите: Добавете схема „Organization“ с name, url, logo и sameAs (връзки към официалните ви профили).
Няма маркиране FAQ или HowTo
Съдържание тип въпрос-отговор и стъпка по стъпка е по-трудно за ИИ системите да разпознаят като пряко цитируем отговор без маркиране FAQPage или HowTo.
Ето какво трябва да направите: Където страницата отговаря на реални въпроси или дава инструкции, маркирайте я като FAQPage или HowTo (без маркиране без видимо съответстващо съдържание).
Сигнали за доверие и същност (E-E-A-T)
Няма сигнал за автор или авторство
Не се разпознава автор (нито мета таг, нито rel=author, нито JSON-LD Person). За „опит“ и „експертиза“ в смисъла на E-E-A-T се брои назовано, проследимо авторство.
Ето какво трябва да направите: При редакционно съдържание назовете автор по име и свържете авторска страница; маркирайте го и като JSON-LD „Person“.
Няма видима или маркирана дата
Не се разпознава дата на публикуване или промяна (нито <time>, нито article:published_time, нито datePublished в JSON-LD). При много въпроси ИИ системите предпочитат актуални източници.
Ето какво трябва да направите: При съдържание с времева обвързаност показвайте дата видимо и маркирайте datePublished / dateModified в JSON-LD.
Наред (7)
- Основното съдържание е в HTML без JavaScript.
- Налични са структурирани данни (JSON-LD). — WebSite, NewsMediaOrganization
- Точно едно заглавие H1.
- Зададен е canonical URL.
- Sitemap е достъпен.
- Бързо време за отговор на сървъра.
- Няма noindex — страницата може да се индексира.
Следващи стъпки
- Важни ИИ роботи са блокирани в robots.txt. Проверете за всеки робот дали блокирането е умишлено. За видимост чрез ИИ трябва да са разрешени поне GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot и Google-Extended.
- Сървърът блокира роботи, макар че robots.txt ги разрешава. Добавете потребителските агенти и/или IP диапазоните на желаните ИИ роботи към списък с разрешени във вашия WAF / Cloudflare / защитна стена. Проверете ги чрез обратен DNS, а не само по низа на потребителския агент.
- Заглавието на страницата е твърде кратко или твърде дълго. Напишете сбито заглавие, което съдържа темата и при нужда марката.
Седмично повторно сканиране с известие по имейл при всяка промяна. В подготовка — въведете адреса си.
Метод и граници
Проверено на 4.09.2026 г.. citeglass изтегля nytimes.com и свързаните файлове (robots.txt, llms.txt, sitemap.xml) чрез HTTP — веднъж като обикновен браузър, веднъж за всеки потребителски агент на ИИ робот. Не се изпълнява JavaScript. Време до първия байт: 235 ms.
Какво не е това: Без проследяване на позиции или цитирания, без твърдение дали един модел действително ви назовава, и без проверка на съдържание, заредено чрез JavaScript. Моментна снимка от гледна точка на един сървърен IP.