يُقيّد تقييد السياسات في خوارزمية PPO مدى انحراف السياسة الجديدة عن القديمة خلال كل تحديث، مما يحافظ على استقرار التدريب. أما تحديثات السياسات غير المحدودة فتسمح للسياسة الجديدة بالانتقال بحرية، مما قد يُسرّع عملية التعلم ولكنه غالبًا ما يؤدي إلى عدم الاستقرار أو الانهيار في البيئات المعقدة.
تقنية في تحسين السياسة التقريبية تحد من مقدار التغيير الذي يمكن أن تحدثه السياسة في كل خطوة تحديث.
نهج يمكن فيه تغيير معلمات السياسة بأي مقدار خلال دورة تدريب واحدة دون قيود صريحة.
| الميزة | اقتطاع جزء من وثيقة التأمين في PPO | تحديثات غير محدودة للسياسات |
|---|---|---|
| تحديث القيد | تم قصها بنسبة 0.1–0.2 | لا يوجد قيد صريح |
| استقرار التدريب | مستقر بشكل عام عبر التكرارات | عرضة للتذبذبات والانهيار |
| كفاءة العينة | عالية، تعيد استخدام المسارات المجمعة | متغير، وغالبًا ما يتطلب بيانات جديدة |
| تعقيد التنفيذ | هدف متوسط الحجم، ذو فتحة واحدة | صعود بسيط ومعياري |
| حساسية المعلمات الفائقة | نطاق القطع المنخفض أكثر تسامحًا | معدل التعلم المرتفع أمر بالغ الأهمية |
| خطر انهيار السياسات | منخفض بسبب قيود القرب | مرتفع بدون ضمانات خارجية |
| حالات الاستخدام الشائعة | الروبوتات، الذكاء الاصطناعي للألعاب، RLHF، التحكم المستمر | مسائل بسيطة للعب، تحليل نظري |
| أصل | ورقة بحثية مقدمة إلى OpenAI، 2017 | الأدبيات المبكرة حول تدرج السياسات، التسعينيات - الألفية الثانية |
يعمل تقييد السياسة في خوارزمية تحسين الأداء الأمثل (PPO) عن طريق حساب النسبة بين احتمالات الإجراءات الجديدة والقديمة، ثم تقييد هذه النسبة للبقاء ضمن نطاق ضيق (عادةً من 0.8 إلى 1.2). عندما تحاول النسبة الخروج عن هذا النطاق، يتم تصفير إشارة التدرج، مما يُشير فعليًا إلى المُحسِّن "لا تُواصل التقدم في هذا الاتجاه". تتجاوز التحديثات غير المحدودة هذا الإجراء الوقائي تمامًا، مما يسمح للمُحسِّن بتحريك معلمات السياسة أينما يُشير التدرج، بغض النظر عن مدى التغيير.
يكتسب أسلوب التحديث المقيد سمعته من حيث الموثوقية لأنه يمنع النسيان الكارثي الذي يُصيب الأساليب غير المحدودة. فعند التوصل إلى سياسة جيدة، يحميها التحديث المقيد من الضياع نتيجة تحديث مفرط الثقة. قد تُحقق التحديثات غير المحدودة أحيانًا اختراقات أسرع، لكنها أيضًا عُرضة لإهدار أسابيع من التقدم بخطوة خاطئة واحدة، ولهذا السبب تتجنبها معظم أنظمة الإنتاج.
تُمكّن خاصية القص في خوارزمية PPO من إجراء عدة دورات تحسين على نفس مجموعة البيانات المُجمّعة، مما يُحسّن كفاءة أخذ العينات بشكل كبير. ولأن السياسة لا يُمكن أن تنحرف كثيرًا، تظل البيانات ذات صلة عبر عدة خطوات تدرج. تتطلب التحديثات غير المحدودة عادةً عينات جديدة في كل تكرار، لأن السياسة قد تتغير كثيرًا لدرجة أن المسارات القديمة لم تعد تعكس السلوك الحالي، مما يُهدر موارد الحوسبة والبيئة.
يجعل التقييد خوارزمية PPO متسامحة بشكل ملحوظ مع المعلمات الفائقة. يعمل نطاق التقييد البالغ 0.2 بكفاءة عالية عبر نطاق واسع من المهام دون الحاجة إلى ضبط كبير. تعتمد التحديثات غير المحدودة بشكل كبير على معدل التعلم: فإذا كان صغيرًا جدًا، يصبح التعلم بطيئًا، وإذا كان كبيرًا جدًا، تتباعد السياسة. هذه الحساسية تجعل الطرق غير المحدودة محبطة للممارسين الذين لا يملكون الوقت لإجراء عمليات مسح شاملة.
تصفّح أي قاعدة بيانات حديثة للتعلم المعزز، وستجد هيمنة خوارزمية PPO واضحة، بدءًا من أعمال OpenAI نفسها وصولًا إلى مختبرات الروبوتات ومسارات ضبط نماذج اللغة مثل RLHF. أما تحديثات السياسات غير المحدودة، فتبقى في الغالب حبيسة الكتب الدراسية والمناقشات النظرية، وتظهر أحيانًا في الأبحاث التي تحتاج إلى أساس للمقارنة. ويعكس هذا التفاوت في التبني عقودًا من الأدلة المتراكمة حول النهج الأكثر فعالية في التطبيق العملي.
يمنع التقييد تماماً السياسة من التغيير بشكل كبير.
يحدّ التقييد فقط من مقدار التغيير الذي يمكن أن تُحدثه السياسة خلال خطوة تحديث واحدة. ومع مرور الوقت، قد تنحرف السياسة بشكل كبير طالما بقيت كل خطوة ضمن نطاق التقييد. هذا القيد خاص بكل خطوة، وليس دائمًا.
تتقارب التحديثات غير المحدودة دائمًا بشكل أسرع من الطرق المقيدة.
قد تبدو التحديثات غير المحدودة أسرع في البداية، لكنها غالبًا ما تتباعد أو تنهار، مما يُجبر على إعادة التشغيل التي تُبدد أي مكاسب مبكرة. عمليًا، غالبًا ما تُحقق الطرق المُقيدة مثل PPO أداءً نهائيًا أفضل في وقت أقل لأنها لا تُهدر الجهد في التعافي من التحديثات السيئة.
إن اقتطاع PPO يجعله مكافئًا لـ TRPO.
تُقيّد كلتا الطريقتين تحديثات السياسة، لكن TRPO تستخدم قيد تباعد KL صارم مع بحث خطي، بينما تستخدم PPO قيدًا مرنًا على نسبة الاحتمالية. تتميز PPO ببساطتها، ودعمها لعدة دورات تدريبية لكل دفعة، وقابليتها للتوسع بشكل أفضل مع النماذج الكبيرة، ولهذا السبب حلت محل TRPO عمليًا إلى حد كبير.
نطاق قص أكبر يعني دائمًا تعلمًا أكثر فعالية.
زيادة نطاق القطع تسمح بتحديثات أكبر، لكنها تقلل أيضًا من تأثير الحماية الناتج عن القطع. بعد نقطة معينة، يتصرف النظام بشكل أقرب إلى تحديث غير محدود، ويفقد مزايا استقراره. النطاق الافتراضي 0.2 هو النطاق الأمثل، وليس نقطة بداية للتحسين.
تحديثات السياسات غير المحدودة أصبحت قديمة وغير مجدية.
تظل التحديثات غير المحدودة ذات قيمة كأساس في البحث، وتعمل بشكل جيد في بيئات بسيطة مثل عوالم الشبكة الصغيرة أو مهام التحكم منخفضة الأبعاد. كما أنها تُعد أدوات تعليمية لفهم سبب تطوير أساليب منطقة الثقة في المقام الأول.
اختر تقنية تقييد السياسات في PPO عندما تحتاج إلى تدريب موثوق وقابل للتكرار عبر بيئات متنوعة، لا سيما في بيئات الإنتاج أو البحث حيث تُعدّ الاستقرارية أهم من السرعة القصوى. لا تُجدي تحديثات السياسات غير المحدودة نفعًا إلا في المشكلات البسيطة ذات الأبعاد المنخفضة أو الدراسات النظرية التي ترغب فيها تحديدًا بمراقبة أنماط الفشل التي صُممت تقنية التقييد لمنعها.
يُحسّن كلٌّ من RAG ونماذج LLM المُحسّنة جودة مخرجات الذكاء الاصطناعي، لكنهما يعملان بطرق مختلفة تمامًا. يستخلص RAG المعلومات الخارجية عند الاستعلام، بينما يُدمج التحسين المعرفة الجديدة مباشرةً في أوزان النموذج. ويعتمد الاختيار بينهما على مدى تكرار تغيّر البيانات ومستوى الدقة المطلوب.
تُعد آليات الانتباه الذاتي ونماذج فضاء الحالة من المناهج الأساسية لنمذجة التسلسلات في الذكاء الاصطناعي الحديث. يتفوق الانتباه الذاتي في التقاط العلاقات الغنية بين الرموز، ولكنه يصبح مكلفًا مع التسلسلات الطويلة، بينما تعالج نماذج فضاء الحالة التسلسلات بكفاءة أكبر مع التوسع الخطي، مما يجعلها جذابة للتطبيقات ذات السياق الطويل والتطبيقات الآنية.
تُعدّ آليات الانتباه أساسية في الذكاء الاصطناعي الحديث، سواءً في مجال رؤية الحاسوب أو معالجة اللغة الطبيعية، إلا أنها تخدم أغراضًا مختلفة وتطورت عبر مسارات متباينة. يساعد الانتباه في مجال الرؤية النماذج على التركيز على مناطق الصورة ذات الصلة، بينما يُمكّن الانتباه في معالجة اللغة الطبيعية من فهم العلاقات بين الكلمات في النصوص.
تجمع أساليب الممثل-الناقد بين تدرجات السياسة ودالة القيمة المُتعلمة لتقليل التباين وتسريع عملية التعلم، بينما تعتمد أساليب تدرج السياسة البحتة كليًا على السياسة وعوائد مونت كارلو. ويعتمد الاختيار بينهما على ما إذا كنت بحاجة إلى الاستقرار وكفاءة العينة أم إلى البساطة والتقديرات غير المتحيزة.
تُفصّل هذه المقارنة الاختلافات الهيكلية الأساسية، وحالات الاستخدام العملية، والمفاضلات في الأداء بين تعلّم الرسم البياني الزمني ونمذجة التسلسل التقليدية. فبينما تُجسّد نمذجة التسلسل التطورات الخطية كالنصوص أو بيانات السلاسل الزمنية، يُعالج تعلّم الرسم البياني الزمني تفاعلات الشبكة والعلاقات المتغيرة مع الزمن في آنٍ واحد، مما يُوفر لك مخططًا شاملاً لاختيار البنية المناسبة.
