דף הבית › מאגר ידע › נושאים

חסימת כל סורקי ה-AI

מי שרוצה עקרונית להשאיר תוכן מחוץ למערכות AI צריך כללים לכל בוט בשמו — תו כללי לא מספיק, כי בוטים רבים מתעלמים ממנו או מצפים לבלוקים משלהם.

רשימת הבוטים

יש להביא בחשבון לפחות: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended, CCBot, Bytespider, Amazonbot, Applebot-Extended, Meta-ExternalAgent. לכל בוט בלוק משלו עם "Disallow: /".

מה robots.txt לא יכול

robots.txt הוא בקשה, לא כפייה. בוטים כמו Bytespider או Perplexity ספגו ביקורת על עקיפתו. לחסימות קשיחות הוסיפו כללי WAF או חומת אש על ה-user-agents, ובמידת האפשר על טווחי IP מאומתים.

המחיר

חסימה מלאה מוציאה אתכם מתשובות AI עם קישור למקור — כלומר מחלק גדל של חיפוש המידע. עבור אתרים רבים הגרסה הממוקדת יותר הגיונית יותר: לאסור אימון, לאפשר חיפוש.

בדיקת ההשפעה

citeglass מאחזר את הדף שלכם עם כל אחד מה-user-agents האלה ומראה במטריצה איזה בוט חסום לפי robots.txt ואם השרת שלכם באמת אוכף את החסימה.

בדוק את האתר שלך

citeglass מראה תוך כ-30 שניות היכן האתר שלך אינו קריא למערכות בינה מלאכותית — בחינם וללא התחברות.

המשך לקרוא

מידע כללי, לא ייעוץ משפטי. GEO הוא תחום צעיר — המלצות עשויות להשתנות.