الرئيسية › قاعدة المعرفة › الموضوعات

استبعاد جميع زواحف الذكاء الاصطناعي

من يريد إبقاء المحتوى بعيداً عن أنظمة الذكاء الاصطناعي من حيث المبدأ يحتاج قواعد لكل بوت مسمّى — أحرف البدل لا تكفي، لأن كثيراً من البوتات تتجاهلها أو تتوقع كتلاً خاصة.

قائمة البوتات

يجب مراعاة على الأقل: GPTBot وOAI-SearchBot وChatGPT-User وClaudeBot وClaude-SearchBot وClaude-User وPerplexityBot وPerplexity-User وGoogle-Extended وCCBot وBytespider وAmazonbot وApplebot-Extended وMeta-ExternalAgent. لكل بوت كتلة خاصة بـ «Disallow: /».

ما لا يستطيعه ملف robots.txt

ملف robots.txt رجاء وليس إلزاماً. بوتات مثل Bytespider أو Perplexity تعرّضت للانتقاد لتجاوزها له. للحظر الصارم أضِف قواعد WAF أو جدار حماية على وكلاء المستخدم، وحيثما أمكن على نطاقات IP موثَّقة.

الثمن

الحظر الكامل يُخرجك من إجابات الذكاء الاصطناعي مع رابط المصدر — أي من جزء متنامٍ من البحث عن المعلومات. لكثير من المواقع يكون الخيار الأكثر استهدافاً أنسب: منع التدريب، السماح بالبحث.

التحقق من الأثر

يجلب citeglass صفحتك بكل وكيل من وكلاء المستخدم هؤلاء ويُظهر في مصفوفة أي بوت محظور وفق robots.txt وما إذا كان خادمك يفرض الحظر فعلاً.

افحص موقعك أنت

يوضح citeglass في نحو 30 ثانية أين يكون موقعك غير قابل للقراءة لأنظمة الذكاء الاصطناعي — مجانًا ودون تسجيل دخول.

تابع القراءة

معلومات عامة، وليست استشارة قانونية. GEO مجال حديث — قد تتغير التوصيات.