ClaudeBot והסורקים של Anthropic

Anthropic מפעילה עבור Claude שלושה סורקים: אחד לאימון, אחד לחיפוש ואחד לאחזור לפי בקשת משתמש.

שלושת הבוטים

ClaudeBot אוסף נתוני אימון. Claude-SearchBot בונה את האינדקס לחיפוש ברשת ב-Claude. Claude-User מאחזר דף כאשר משתמש מבקש זאת בשיחה. רק ClaudeBot נוגע לאימון המודל.

להסדיר גישה

בלוק robots.txt נפרד לכל בוט. מי שדוחה אימון אך רוצה להיות מצוטט בתשובות של Claude, חוסם את ClaudeBot עם "Disallow: /" וממשיך לאפשר את Claude-SearchBot ו-Claude-User.

טעות נפוצה

בלוק יחיד "User-agent: Claude*" לא עובד — robots.txt לא מכיר תווים כלליים בשם סוכן המשתמש למעט "*" הבודד. ציינו כל בוט בנפרד.

בדיקת תגובת השרת

citeglass מאחזר את הדף שלכם עם סוכני המשתמש האמיתיים של ClaudeBot, Claude-SearchBot ו-Claude-User ומסמן כאשר robots.txt מאפשר בוט אך השרת דוחה אותו.

בדוק את האתר שלך

citeglass מראה תוך כ-30 שניות היכן האתר שלך אינו קריא למערכות בינה מלאכותית — בחינם וללא התחברות.

המשך לקרוא

מידע כללי, לא ייעוץ משפטי. GEO הוא תחום צעיר — המלצות עשויות להשתנות.