الرئيسية › قاعدة المعرفة › seo.cat.crawler

CCBot و Common Crawl

ينشئ Common Crawl أرشيف ويب متاحاً بحرية يدخل في بيانات تدريب عدد كبير من نماذج اللغة.

لماذا CCBot خاص

إذا حظرت GPTBot و ClaudeBot فقط، فقد يصل محتواك مع ذلك إلى النماذج عبر مجموعة بيانات Common Crawl. من يرفض التدريب من حيث المبدأ عليه أن يأخذ CCBot في الحسبان.

الحظر

«User-agent: CCBot» يتبعها «Disallow: /». يحترم Common Crawl ملف robots.txt في جولة الزحف التالية؛ تبقى مدخلات الأرشيف الحالية حتى يُعاد جمع المجموعة.

الموازنة

يُستخدم Common Crawl أيضاً للبحث ومشاريع محركات البحث والأرشفة. الحظر يطال كل هذه الأغراض، لا التدريب التجاري للذكاء الاصطناعي وحده.

التحقق من القاعدة

يُظهر citeglass ما إذا كان ملف robots.txt الخاص بك يسمح لـ CCBot أو يحظره وما إذا كانت القاعدة خاصة بالبوت أم تسري فقط عبر كتلة «User-agent: *».

افحص موقعك أنت

يوضح citeglass في نحو 30 ثانية أين يكون موقعك غير قابل للقراءة لأنظمة الذكاء الاصطناعي — مجانًا ودون تسجيل دخول.

تابع القراءة

معلومات عامة، وليست استشارة قانونية. GEO مجال حديث — قد تتغير التوصيات.