يُعدّ PPO أسلوبًا للتعلم المعزز يعتمد على تدرج السياسة، ويُعرف باستقراره وقابليته للتوسع، بينما يُعدّ Q-Learning منهجًا قائمًا على القيمة يتعلم دوال العلاقة بين الفعل والقيمة. يُدرّب كلا الأسلوبين الوكلاء من خلال التجربة والخطأ، لكنهما يختلفان اختلافًا جوهريًا في كيفية تمثيل المعرفة وتحديث السلوك.
خوارزمية التعلم المعزز لتدرج السياسة التي تقوم بتحديث السياسات من خلال وظائف الهدف المقطوعة من أجل تدريب مستقر.
نهج التعلم المعزز القائم على القيمة والذي يقدر المكافأة المتوقعة من اتخاذ الإجراءات في حالات معينة.
| الميزة | تحسين السياسة التقريبية (PPO) | خوارزميات التعلم المعزز (Q-Learning) |
|---|---|---|
| نوع الخوارزمية | تدرج السياسة (على السياسة) | قائم على القيمة (خارج نطاق السياسة) |
| سنة الإصدار | 2017 (OpenAI) | 1989 (واتكينز) |
| هدف التعلم الأساسي | وظيفة السياسة التي تربط الحالات بالإجراءات | دالة قيمة Q لتقدير جودة الفعل |
| دعم مساحة العمل | مستمر ومنفصل | منفصلة في المقام الأول (توجد امتدادات للمتصلة) |
| كفاءة العينة | متوسط (يتطلب بيانات جديدة لكل تحديث) | أعلى (يعيد استخدام مخزن إعادة تشغيل التجربة) |
| استقرار التدريب | مرتفع (الهدف المقصوص يمنع الانهيار) | أقل (عرضة لتحيز المبالغة) |
| استراتيجية الاستكشاف | سياسة عشوائية مع مكافآت الإنتروبيا | استكشاف إبسيلون-جريد أو بولتزمان |
| حالات الاستخدام الشائعة | الروبوتات، محاذاة LLM، التحكم المستمر | اللعب، مهام اتخاذ القرارات المنفصلة، الملاحة |
| المتغيرات الرئيسية | PPO مع قص، PPO مع عقوبة KL التكيفية | DQN، Double DQN، Dueling DQN، Rainbow |
تعتمد خوارزمية PPO على نهج مباشر من خلال تعلم سياسة مُعَلمة تُخرج احتمالات الأفعال بناءً على حالة معينة. ثم تُحسِّن هذه السياسة باستخدام خوارزمية التدرج الصاعد على المكافآت المتوقعة. أما خوارزمية Q-Learning فتسلك مسارًا غير مباشر، حيث تُقَدِّر أولًا مدى جودة كل فعل في كل حالة، ثم تستنتج السلوك من تلك التقديرات. هذا التقسيم الفلسفي يُؤثر على كل شيء بدءًا من متطلبات البيانات وصولًا إلى الأداء النهائي.
إحدى أهم مزايا خوارزمية PPO هي دالة الهدف المقيدة، التي تحد من مدى تغير السياسة في تحديث واحد. وهذا يجعل التدريب مستقرًا بشكل ملحوظ حتى في المهام التي تتسم بالتشويش. قد تعاني خوارزمية Q-Learning، وخاصة في إصداراتها العميقة، من عدم الاستقرار بسبب تحيز التقدير الزائد ومشكلة الهدف المتحرك. تساعد تقنيات مثل الشبكات المستهدفة وQ-Learning المزدوج في حل هذه المشكلة، ولكن خوارزمية PPO عمومًا تتطلب ضبطًا أقل للمعلمات الفائقة للتقارب بشكل موثوق.
يتفوق التعلم المعزز (Q-Learning) عادةً من حيث كفاءة استخدام العينات، لقدرته على تخزين التجارب في مخزن مؤقت لإعادة التشغيل والتعلم منها عدة مرات. أما خوارزمية PPO فهي تعتمد على السياسة، ما يعني أنها تتخلص عادةً من البيانات بعد كل دورة تحديث، الأمر الذي يتطلب تفاعلات أكثر مع البيئة. في البيئات المحاكاة حيث يكون توليد البيانات غير مكلف، نادرًا ما يُشكل هذا الأمر مشكلة. لكن في مجال الروبوتات الواقعية أو عمليات المحاكاة المكلفة، يُمكن أن تُشكل إعادة استخدام التعلم المعزز للبيانات السابقة ميزةً كبيرة.
تتعامل خوارزمية PPO مع مساحات الإجراءات المستمرة بشكل طبيعي لأنها تُخرج توزيعًا احتماليًا للإجراءات، وغالبًا ما يكون توزيعًا غاوسيًا. صُممت خوارزمية Q-Learning في الأصل للإجراءات المنفصلة، حيث يمكنك ببساطة البحث عن قيمة Q لكل خيار. توجد امتدادات مثل دالة الميزة المعيارية (NAF) أو خوارزمية Q-Learning التوزيعية، لكن خوارزمية PPO لا تزال الخيار الأكثر شيوعًا لمشاكل التحكم المستمر مثل التلاعب الروبوتي.
يشجع PPO الاستكشاف من خلال سياسات عشوائية ومكافآت إنتروبيا تمنع التقارب المبكر نحو السلوك الحتمي. يعتمد Q-Learning على قواعد استكشاف صريحة مثل epsilon-greedy، حيث يختار العامل إجراءات عشوائية باحتمالية معينة. يميل نهج PPO إلى التوسع بشكل أفضل في فضاءات الإجراءات عالية الأبعاد، بينما يعمل استكشاف Q-Learning الأبسط بشكل جيد في البيئات المنفصلة ذات عدد الإجراءات القابل للإدارة.
أصبح PPO الخيار الافتراضي للعديد من أنظمة الإنتاج، بما في ذلك التعلم المعزز من خلال التغذية الراجعة البشرية (RLHF) المستخدم لتدريب نماذج لغوية ضخمة. ولا يزال Q-Learning ومتغيراته العميقة مهيمناً في معايير أداء الألعاب ومهام اتخاذ القرارات المنفصلة. يتمتع كلا الخوارزميتين بأنظمة بيئية غنية من التطبيقات، حيث يتوفر PPO في مكتبات مثل Stable Baselines3 وRLlib، بينما تتوفر متغيرات Q-Learning في جميع أطر التعلم المعزز تقريباً.
PPO و Q-Learning هما خوارزميتان قابلتان للتبادل تحلان نفس المشاكل.
يمثلان نهجين مختلفين جذريًا للتعلم المعزز. تعمل خوارزمية تحسين السياسات العامة (PPO) على تحسين السياسة مباشرةً، بينما تُقدّر خوارزمية التعلم المعزز (Q-Learning) قيم الإجراءات. يتفوق كل منهما في سيناريوهات مختلفة، ويعتمد الاختيار بينهما على نطاق الإجراءات المتاحة، وتوافر البيانات، ومتطلبات الاستقرار.
خوارزمية Q-Learning قديمة وتم استبدالها بخوارزميات أحدث.
لا تزال تقنية التعلم المعزز (Q-Learning) ذات أهمية بالغة، لا سيما من خلال امتداداتها في مجال التعلم العميق مثل DQN وRainbow. وتواصل هذه التقنيات تحقيق نتائج متميزة في العديد من المعايير، وتشكل الأساس المفاهيمي لأساليب أحدث.
يتفوق PPO دائمًا على Q-Learning لأنه أحدث.
لا يعني كون الشيء أحدث بالضرورة أنه أفضل. يتفوق PPO في التحكم المستمر والتدريب واسع النطاق، لكن Q-Learning قد يتفوق عليه في البيئات المنفصلة ذات البيانات المحدودة. يعتمد الأداء بشكل كبير على طبيعة المشكلة وتفاصيل التنفيذ.
لا يمكن لتقنية Q-Learning العمل مع مساحات العمل المستمرة.
بينما صُممت خوارزمية Q-Learning القياسية للتعامل مع الإجراءات المنفصلة، فإن العديد من التوسعات مثل NAF و Q-Learning التوزيعي وأساليب تضمين الإجراءات تُمكّن من التحكم المستمر. ومع ذلك، فإن هذه الأساليب أقل شيوعًا من أساليب تدرج السياسة في المهام المستمرة.
لا يحتاج PPO إلى أي ضبط للمعلمات الفائقة ليعمل بشكل جيد.
تُعتبر خوارزمية PPO أكثر تسامحًا من العديد من الخوارزميات الأخرى، ولكنها لا تزال تتطلب ضبطًا دقيقًا لمعاملات القطع ومعدل التعلم ومعامل الإنتروبيا. وقد تؤدي الخيارات غير المناسبة إلى بطء التقارب أو إلى سياسات دون المستوى الأمثل.
اختر خوارزمية PPO عند العمل مع التحكم المستمر، أو الروبوتات، أو تدريب السياسات على نطاق واسع حيث يكون الاستقرار بالغ الأهمية. اختر خوارزمية Q-Learning لمساحات العمل المنفصلة، أو السيناريوهات ذات العينات المحدودة، أو عندما تحتاج إلى الاستفادة من إعادة تجربة التعلم. تبقى كلتا الخوارزميتين أساسيتين، وفهم مزايا وعيوب كل منهما يساعدك على اختيار الأداة المناسبة لتحدي التعلم المعزز الخاص بك.
يُحسّن كلٌّ من RAG ونماذج LLM المُحسّنة جودة مخرجات الذكاء الاصطناعي، لكنهما يعملان بطرق مختلفة تمامًا. يستخلص RAG المعلومات الخارجية عند الاستعلام، بينما يُدمج التحسين المعرفة الجديدة مباشرةً في أوزان النموذج. ويعتمد الاختيار بينهما على مدى تكرار تغيّر البيانات ومستوى الدقة المطلوب.
تُعد آليات الانتباه الذاتي ونماذج فضاء الحالة من المناهج الأساسية لنمذجة التسلسلات في الذكاء الاصطناعي الحديث. يتفوق الانتباه الذاتي في التقاط العلاقات الغنية بين الرموز، ولكنه يصبح مكلفًا مع التسلسلات الطويلة، بينما تعالج نماذج فضاء الحالة التسلسلات بكفاءة أكبر مع التوسع الخطي، مما يجعلها جذابة للتطبيقات ذات السياق الطويل والتطبيقات الآنية.
تُعدّ آليات الانتباه أساسية في الذكاء الاصطناعي الحديث، سواءً في مجال رؤية الحاسوب أو معالجة اللغة الطبيعية، إلا أنها تخدم أغراضًا مختلفة وتطورت عبر مسارات متباينة. يساعد الانتباه في مجال الرؤية النماذج على التركيز على مناطق الصورة ذات الصلة، بينما يُمكّن الانتباه في معالجة اللغة الطبيعية من فهم العلاقات بين الكلمات في النصوص.
تجمع أساليب الممثل-الناقد بين تدرجات السياسة ودالة القيمة المُتعلمة لتقليل التباين وتسريع عملية التعلم، بينما تعتمد أساليب تدرج السياسة البحتة كليًا على السياسة وعوائد مونت كارلو. ويعتمد الاختيار بينهما على ما إذا كنت بحاجة إلى الاستقرار وكفاءة العينة أم إلى البساطة والتقديرات غير المتحيزة.
تُفصّل هذه المقارنة الاختلافات الهيكلية الأساسية، وحالات الاستخدام العملية، والمفاضلات في الأداء بين تعلّم الرسم البياني الزمني ونمذجة التسلسل التقليدية. فبينما تُجسّد نمذجة التسلسل التطورات الخطية كالنصوص أو بيانات السلاسل الزمنية، يُعالج تعلّم الرسم البياني الزمني تفاعلات الشبكة والعلاقات المتغيرة مع الزمن في آنٍ واحد، مما يُوفر لك مخططًا شاملاً لاختيار البنية المناسبة.
