דף הבית › מאגר ידע › יסודות

שליטה בסורקי בינה מלאכותית ב-robots.txt

כל ספק בינה מלאכותית גדול מפעיל סורקים משלו עם שמות סוכן משתמש משלו. דרך robots.txt אתה מחליט לכל בוט אם הוא רשאי לטעון את התוכן שלך.

סורקי הבינה המלאכותית החשובים ביותר

OpenAI: GPTBot (אימון), OAI-SearchBot (חיפוש ChatGPT), ChatGPT-User (הבאה לפי בקשת המשתמש). Anthropic: ClaudeBot, Claude-SearchBot, Claude-User. Perplexity: PerplexityBot, Perplexity-User. Google: Google-Extended (אימון Gemini) — ההבאה בפועל עבור תקצירי ה-בינה מלאכותית מתבצעת דרך Googlebot הרגיל. בנוסף Common Crawl (CCBot), Amazonbot, Bytespider, Applebot-Extended ו-Meta-ExternalAgent.

התרה ממוקדת

לנראות מרבית בבינה מלאכותית, תן לבוטים הרלוונטיים בלוק משלהם עם «Allow: /». חשוב: בלוק ספציפי לבוט מחליף עבור אותו בוט את בלוק «User-agent: *» לחלוטין — חזור על כללי disallow הדרושים שם.

הוצאה ממוקדת מן הכלל

אם אתה מסרב לאימון אך רוצה להישאר נראה בחיפוש של בינה מלאכותית, אתה יכול לחסום את GPTBot ו-Google-Extended ולהתיר את OAI-SearchBot ו-Googlebot. זו החלטה תוכנית, לא טכנית גרידא.

מדוע robots.txt לעיתים קרובות אינו מספיק

אתרים רבים מתירים בוטים ב-robots.txt אך חוסמים אותם ברמת השרת: כלל WAF, «Bot Fight Mode» של Cloudflare או חומת אש דוחים את הסורק ב-403. הבוט מציית ל-robots.txt ובכל זאת אינו נכנס. citeglass הופך את הסתירה הזו לנראית.

אימות

רשימות היתר צריכות להכיל בוטים מאומתים. OpenAI, Anthropic, Perplexity ו-Google מפרסמות את טווחי ה-IP של הסורקים שלהן; בדוק בנוסף דרך DNS הפוך במקום להסתמך רק על מחרוזת סוכן המשתמש.

בדוק את האתר שלך

citeglass מראה תוך כ-30 שניות היכן האתר שלך אינו קריא למערכות בינה מלאכותית — בחינם וללא התחברות.

המשך לקרוא

מידע כללי, לא ייעוץ משפטי. GEO הוא תחום צעיר — המלצות עשויות להשתנות.