CCBot ו-Common Crawl

Common Crawl בונה ארכיון אינטרנט זמין בחופשיות שנכנס לנתוני האימון של מודלי שפה רבים.

למה CCBot מיוחד

אם תחסמו רק את GPTBot ו-ClaudeBot, התוכן שלכם עדיין עלול להגיע למודלים דרך מערך הנתונים של Common Crawl. מי שדוחה אימון עקרונית חייב לקחת בחשבון גם את CCBot.

חסימה

"User-agent: CCBot" ואחריו "Disallow: /". Common Crawl מכבד את robots.txt בסריקה הבאה; רשומות ארכיון קיימות נשארות עד שמערך הנתונים נאסף מחדש.

שקילה

Common Crawl משמש גם למחקר, לפרויקטי חיפוש ולארכוב. חסימה פוגעת בכל המטרות האלה, לא רק באימון AI מסחרי.

בדיקת הכלל

citeglass מראה אם ה-robots.txt שלכם מתיר או חוסם את CCBot ואם הכלל ספציפי לבוט או חל רק דרך הבלוק "User-agent: *".

בדוק את האתר שלך

citeglass מראה תוך כ-30 שניות היכן האתר שלך אינו קריא למערכות בינה מלאכותית — בחינם וללא התחברות.

המשך לקרוא

מידע כללי, לא ייעוץ משפטי. GEO הוא תחום צעיר — המלצות עשויות להשתנות.