לאפשר או לחסום את GPTBot

GPTBot הוא הסורק שבו OpenAI אוספת תוכן זמין לציבור לאימון מודלים עתידיים.

על מה אחראי GPTBot

GPTBot טוען דפים עבור נתוני אימון — לא כדי לענות על שאלת משתמש קונקרטית ב-ChatGPT. על החיפוש החי ב-ChatGPT אחראים OAI-SearchBot ו-ChatGPT-User. מי שחוסם את GPTBot אך רוצה להישאר גלוי בחיפוש ה-AI, חייב להמשיך לאפשר את השניים האלה.

לאפשר

בלוק נפרד נותן ל-GPTBot גישה מלאה: "User-agent: GPTBot" ואחריו "Allow: /". חשוב: בלוק ספציפי לבוט מחליף עבור GPTBot לחלוטין את הבלוק "User-agent: *" — חזרו שם על כללי Disallow הנחוצים.

לחסום

"User-agent: GPTBot" ואחריו "Disallow: /" מרחיק את GPTBot מכל הדומיין. OpenAI מכבדת בדרך כלל את robots.txt בתוך 24 שעות. תוכן שכבר נכנס לאימון זה לא מחזיר.

לבדוק אם זה עובד

GPTBot מציית ל-robots.txt — אך בכל זאת לא עובר אם WAF או הגנת בוטים דוחים מראש את סוכן המשתמש עם 403. citeglass מאחזר את הדף שלכם עם סוכן המשתמש האמיתי של GPTBot ומראה אם כלל ה-robots.txt ותגובת השרת בפועל תואמים.

בדוק את האתר שלך

citeglass מראה תוך כ-30 שניות היכן האתר שלך אינו קריא למערכות בינה מלאכותית — בחינם וללא התחברות.

המשך לקרוא

מידע כללי, לא ייעוץ משפטי. GEO הוא תחום צעיר — המלצות עשויות להשתנות.