נבדק ב-3.9.2026 · https://www.iana.org/
אין חסמים קשיחים, אך 2 נקודות מחלישות את המציאוּת בבינה מלאכותית.
מטריצת סורקי בינה מלאכותית
לכל בוט: מה robots.txt שלך מתיר — ומה השרת שלך באמת מחזיר לסוכן המשתמש של הבוט. שורות מודגשות באדום: robots מתיר, אך השרת חוסם (בדרך כלל כלל WAF או הגנה מפני בוטים).
| בוט | מפעיל | robots.txt | תגובת השרת |
|---|---|---|---|
| GPTBot | OpenAI | מותר (דרך User-agent: *) | 200 + תוכן |
| OAI-SearchBot | OpenAI | מותר (דרך User-agent: *) | 200 + תוכן |
| ChatGPT-User | OpenAI | מותר (דרך User-agent: *) | 200 + תוכן |
| ClaudeBot | Anthropic | מותר (דרך User-agent: *) | 200 + תוכן |
| Claude-SearchBot | Anthropic | מותר (דרך User-agent: *) | 200 + תוכן |
| Claude-User | Anthropic | מותר (דרך User-agent: *) | 200 + תוכן |
| PerplexityBot | Perplexity | מותר (דרך User-agent: *) | 200 + תוכן |
| Perplexity-User | Perplexity | מותר (דרך User-agent: *) | 200 + תוכן |
| Google-Extended | Google (Gemini-Training) | מותר (דרך User-agent: *) | — |
| Googlebot | Google (KI-Übersichten) | מותר (דרך User-agent: *) | 200 + תוכן |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | מותר (דרך User-agent: *) | 200 + תוכן |
| Bytespider | ByteDance (Doubao) | מותר (דרך User-agent: *) | 200 + תוכן |
| Amazonbot | Amazon (Alexa/Rufus) | מותר (דרך User-agent: *) | 200 + תוכן |
| Applebot-Extended | Apple (Intelligence-Training) | מותר (דרך User-agent: *) | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | מותר (דרך User-agent: *) | 200 + תוכן |
כיצד נוצר הציון?
| אין נתונים מובְנים (JSON-LD) | -8 |
| meta description חסר או לא מתאים | -5 |
| אין llms.txt | -5 |
| אין אות מחבר או מחברוּת | -4 |
| לא נמצא sitemap.xml | -4 |
| אין קישורי sameAs | -3 |
| אין תאריך נראה או מסומן | -3 |
| תוצאה | 68 / 100 |
מבנה והבנה מכונתית
אין נתונים מובְנים (JSON-LD)
העמוד אינו מכיל JSON-LD. נתונים מובְנים עוזרים למערכות בינה מלאכותית לזהות באופן חד-משמעי ישויות, מחבר, ארגון, תאריך וסוג עמוד — בלעדיהם צריך לנחש הכול מהטקסט.
מה שכדאי לך לעשות: הוסף לפחות סכמת «Organization» וסכמה המתאימה לסוג העמוד (Article, Product, FAQPage …) כ-JSON-LD ב-<head>.
<script type="application/ld+json">
{"@context":"https://schema.org","@type":"Organization",
"name":"החברה שלך","url":"https://הדומיין-שלך.example",
"sameAs":["https://www.linkedin.com/company/…"]}
</script>meta description חסר או לא מתאים
אורך ה-meta description הוא 0 תווים. לעיתים קרובות זה הדבר הראשון שמערכות בינה מלאכותית ומנועי חיפוש קוראים כתקציר של העמוד.
מה שכדאי לך לעשות: כתוב תקציר עצמאי של העמוד במשפט או שניים (כ-120–200 תווים), לא רצף מילות מפתח.
אין llms.txt
בכתובת /llms.txt אין קובץ. llms.txt הוא סקירה קצרה ב-Markdown של התוכן המרכזי שלך שחלק ממערכות הבינה המלאכותית משתמשות בה להתמצאות.
מה שכדאי לך לעשות: צור /llms.txt: H1 עם השם, פסקה קצרה על ההצעה, ורשימת קישורים לעמודים המרכזיים.
# החברה שלך > תיאור במשפט אחד. ## עמודים חשובים - [מוצר](https://הדומיין-שלך.example/product): … - [מחירים](https://הדומיין-שלך.example/pricing): … - [אודות](https://הדומיין-שלך.example/about): …
אותות אמון וישות (E-E-A-T)
אין אות מחבר או מחברוּת
לא ניתן לזהות מחבר (לא meta tag, לא rel=author ולא JSON-LD Person). עבור «ניסיון» ו«מומחיות» במובן E-E-A-T נחשבת מחברוּת נקובה שניתן לעקוב אחריה.
מה שכדאי לך לעשות: בתוכן עריכתי, נקוב בשם מחבר וקשר עמוד מחבר; סמן אותו גם כ-JSON-LD «Person».
אין קישורי sameAs
ב-JSON-LD חסר «sameAs». באמצעותו מערכות בינה מלאכותית ממפות בבירור את המותג או האדם שלך לישויות מוכרות (Wikidata, LinkedIn, מדריכי ענף).
מה שכדאי לך לעשות: הוסף «sameAs» ב-Organization או ב-Person עם כתובות ה-URL של הפרופילים הרשמיים ורשומות המדריכים שלך.
אין תאריך נראה או מסומן
לא ניתן לזהות תאריך פרסום או שינוי (לא <time>, לא article:published_time ולא datePublished ב-JSON-LD). בשאלות רבות מערכות בינה מלאכותית מעדיפות מקורות עדכניים.
מה שכדאי לך לעשות: בתוכן הקשור בזמן, הצג תאריך באופן נראה וסמן datePublished / dateModified ב-JSON-LD.
בסיס טכני
לא נמצא sitemap.xml
בכתובת /sitemap.xml לא הייתה נגישה מפת אתר XML תקפה ו-robots.txt אינו נוקב באף אחת. מפת אתר עוזרת לסורקים למצוא את כל כתובות ה-URL הרלוונטיות.
מה שכדאי לך לעשות: צור sitemap.xml עם כל כתובות ה-URL הניתנות לאינדוקס והפנה אליו ב-robots.txt.
תקין (6)
- התוכן העיקרי נמצא ב-HTML ללא JavaScript.
- בדיוק כותרת H1 אחת.
- הוגדרה כתובת canonical.
- לכותרת העמוד אורך סביר.
- זמן תגובה מהיר מהשרת.
- אין noindex — מותר לאנדקס את העמוד.
הצעדים הבאים
- אין נתונים מובְנים (JSON-LD). הוסף לפחות סכמת «Organization» וסכמה המתאימה לסוג העמוד (Article, Product, FAQPage …) כ-JSON-LD ב-<head>.
- meta description חסר או לא מתאים. כתוב תקציר עצמאי של העמוד במשפט או שניים (כ-120–200 תווים), לא רצף מילות מפתח.
- אין llms.txt. צור /llms.txt: H1 עם השם, פסקה קצרה על ההצעה, ורשימת קישורים לעמודים המרכזיים.
סריקה חוזרת שבועית עם התראה במייל בכל שינוי. בהכנה — הזן את הכתובת שלך.
שיטה וגבולות
נבדק ב-3.9.2026. citeglass מביא את iana.org ואת הקבצים הקשורים (robots.txt, llms.txt, sitemap.xml) דרך HTTP — פעם כדפדפן רגיל, פעם לכל סוכן משתמש של סורק בינה מלאכותית. JavaScript אינו מורץ. זמן עד הבייט הראשון: 95 מ"ש.
מה זה לא: אין מעקב אחר דירוגים או ציטוטים, אין קביעה אם מודל באמת מזכיר אותך, ואין בדיקת תוכן הנטען דרך JavaScript. תצלום מצב מנקודת מבט של כתובת IP אחת של שרת.