דף הבית › מאגר ידע › seo.cat.crawler
OAI-SearchBot ו-ChatGPT-User
כאשר ChatGPT מחפש ברשת, OAI-SearchBot ו-ChatGPT-User מאחזרים דפים — בנפרד מסורק האימון GPTBot.
שני בוטים, שתי משימות
OAI-SearchBot בונה את אינדקס החיפוש עבור חיפוש ChatGPT. ChatGPT-User פותח דף כאשר משתמש מבקש זאת במפורש בשאלתו או משתף קישור. שניהם מספקים את הבסיס לתשובות מצוטטות עם קישור למקור.
למה כדאי לאפשר אותם
מי שרוצה להופיע כמקור ב-ChatGPT חייב לתת לשני הבוטים האלה גישה. חסימה רק ל-GPTBot משאירה את החיפוש ללא פגיעה; חסימה ל-"User-agent: *" פוגעת גם ב-OAI-SearchBot.
כלל ה-robots.txt
לנראות מרבית: בלוק אחד לכל אחד מ-"User-agent: OAI-SearchBot" ו-"User-agent: ChatGPT-User", שניהם עם "Allow: /". החריגו אזורים רגישים (התחברות, עגלה, חיפוש פנימי) באופן ממוקד באמצעות Disallow.
בדיקת יכולת אחזור
citeglass בודק עבור OAI-SearchBot ו-ChatGPT-User בנפרד אם robots.txt מאפשר אותם ואם השרת שלכם באמת מספק להם תוכן — כולל המקרים שבהם הגנת בוטים חוסמת אותם למרות robots.txt מותר.
בדוק את האתר שלך
citeglass מראה תוך כ-30 שניות היכן האתר שלך אינו קריא למערכות בינה מלאכותית — בחינם וללא התחברות.
המשך לקרוא
מידע כללי, לא ייעוץ משפטי. GEO הוא תחום צעיר — המלצות עשויות להשתנות.