الرئيسية › قاعدة المعرفة › seo.cat.crawler

السماح لـ GPTBot أو حظره

GPTBot هو الزاحف الذي تجمع به OpenAI محتوى متاحاً للعامة لتدريب النماذج المستقبلية.

بم يختص GPTBot

يحمّل GPTBot الصفحات لبيانات التدريب — لا للإجابة عن سؤال ملموس لمستخدم في ChatGPT. البحث المباشر في ChatGPT يختص به OAI-SearchBot و ChatGPT-User. من يحظر GPTBot لكنه يريد أن يبقى مرئياً في بحث الذكاء الاصطناعي، عليه أن يستمر في السماح لهذين.

السماح

كتلة خاصة تمنح GPTBot وصولاً كاملاً: «User-agent: GPTBot» يتبعها «Allow: /». مهم: الكتلة الخاصة بالبوت تحل بالنسبة لـ GPTBot محل كتلة «User-agent: *» بالكامل — كرّر هناك قواعد Disallow اللازمة.

الحظر

«User-agent: GPTBot» يتبعها «Disallow: /» تُبقي GPTBot بعيداً عن النطاق بأكمله. تحترم OpenAI robots.txt عادةً خلال 24 ساعة. المحتوى الذي دخل التدريب بالفعل لا يسترجعه ذلك.

تحقق مما إذا كان يعمل

يلتزم GPTBot بـ robots.txt — لكنه مع ذلك لا يمر إذا رفض جدار حماية تطبيقات الويب أو حماية من البوتات وكيل المستخدم مسبقاً بالرمز 403. يجلب citeglass صفحتك بوكيل مستخدم GPTBot الحقيقي ويُظهر ما إذا كانت قاعدة robots.txt واستجابة الخادم الفعلية متطابقتين.

افحص موقعك أنت

يوضح citeglass في نحو 30 ثانية أين يكون موقعك غير قابل للقراءة لأنظمة الذكاء الاصطناعي — مجانًا ودون تسجيل دخول.

تابع القراءة

معلومات عامة، وليست استشارة قانونية. GEO مجال حديث — قد تتغير التوصيات.