الرئيسية › قاعدة المعرفة › seo.cat.crawler

ClaudeBot وزواحف Anthropic

تشغّل Anthropic لـ Claude ثلاثة زواحف: واحداً للتدريب، وواحداً للبحث، وواحداً للجلب بناءً على طلب المستخدم.

البوتات الثلاثة

يجمع ClaudeBot بيانات التدريب. يبني Claude-SearchBot الفهرس لبحث الويب في Claude. يجلب Claude-User صفحةً عندما يطلب مستخدم ذلك في المحادثة. ClaudeBot وحده يخص تدريب النموذج.

تنظيم الوصول

كتلة robots.txt خاصة لكل بوت. من يرفض التدريب لكنه يريد أن يُقتبس في إجابات Claude، يحظر ClaudeBot بـ «Disallow: /» ويستمر في السماح لـ Claude-SearchBot و Claude-User.

خطأ شائع

كتلة واحدة «User-agent: Claude*» لا تعمل — لا يعرف robots.txt أحرف البدل في اسم وكيل المستخدم عدا «*» المنفرد. سمِّ كل بوت على حدة.

التحقق من استجابة الخادم

يجلب citeglass صفحتك بوكلاء المستخدم الحقيقيين لـ ClaudeBot و Claude-SearchBot و Claude-User ويؤشر عندما يسمح robots.txt ببوت بينما يرفضه الخادم.

افحص موقعك أنت

يوضح citeglass في نحو 30 ثانية أين يكون موقعك غير قابل للقراءة لأنظمة الذكاء الاصطناعي — مجانًا ودون تسجيل دخول.

تابع القراءة

معلومات عامة، وليست استشارة قانونية. GEO مجال حديث — قد تتغير التوصيات.