يمثل التعلم المعزز والتعلم الخاضع للإشراف نهجين مختلفين جذرياً لتدريب نماذج التعلم الآلي. فبينما يعتمد التعلم الخاضع للإشراف على مجموعات بيانات مصنفة لتعليم النماذج الإجابات الصحيحة، يدرب التعلم المعزز العوامل من خلال التفاعل التجريبي مع البيئة، مسترشداً بالمكافآت والعقوبات.
نموذج للتعلم الآلي حيث يتعلم العامل الإجراءات المثلى من خلال التفاعلات البيئية، ويتلقى مكافآت أو عقوبات بناءً على قراراته.
نهج التعلم الآلي حيث تتعلم النماذج الأنماط من بيانات التدريب المصنفة، وتربط المدخلات بالمخرجات الصحيحة المعروفة.
| الميزة | التعلم المعزز | التعلم الخاضع للإشراف |
|---|---|---|
| أسلوب التعلم | التجربة والخطأ من خلال التفاعل البيئي | التعلم من أمثلة المدخلات والمخرجات المصنفة |
| متطلبات البيانات | لا حاجة لبيانات مصنفة؛ يتعلم من المكافآت | يتطلب كميات كبيرة من بيانات التدريب المصنفة |
| نوع التقييم | إشارات المكافأة المتأخرة (متفرقة أو مستمرة) | إجابات صحيحة فورية لكل مثال |
| حالات الاستخدام الرئيسية | اللعب، والروبوتات، والأنظمة المستقلة، والقرارات المتسلسلة | تصنيف الصور، تحليل المشاعر، كشف الاحتيال، التنبؤ |
| الخوارزميات الرئيسية | Q-التعلم، SARSA، DQN، PPO، A3C | الانحدار الخطي، آلة المتجهات الداعمة، الغابات العشوائية، الشبكات العصبية الالتفافية، المحولات |
| بيئة التدريب | بيئة تفاعلية أو محاكي | مجموعة بيانات ثابتة ذات تصنيفات محددة مسبقًا |
| استكشاف | يجب على الوكيل أن يستكشف لاكتشاف الاستراتيجيات الجيدة | لا حاجة للاستكشاف؛ يتبع الأنماط في البيانات |
| كفاءة العينة | غالباً ما يتطلب الأمر ملايين التفاعلات | بشكل عام، تكون العينات أكثر كفاءة مع ملصقات الجودة. |
| قابلية التفسير | قد تكون وظائف وسياسات المكافآت معقدة | غالباً ما تكون أكثر قابلية للتفسير، خاصة مع النماذج الأبسط |
يكمن الاختلاف الجوهري في كيفية اكتساب كل نهج للمعرفة. يعمل التعلم الخاضع للإشراف كطالب يدرس باستخدام دليل الإجابات، حيث يتعلم ربط المدخلات بالمخرجات الصحيحة المعروفة. أما التعلم المعزز فيشبه التعلم من خلال التجربة، حيث يكتشف النظام الإجراءات التي تؤدي إلى نتائج إيجابية من خلال تنفيذها فعليًا وملاحظة عواقبها. هذا الاختلاف الفلسفي يؤثر على كل شيء بدءًا من متطلبات البيانات وصولًا إلى تصميم الخوارزمية.
يتطلب التعلم الخاضع للإشراف مجموعات بيانات مصنفة بعناية، وهو ما قد يكون مكلفًا ويستغرق وقتًا طويلًا في إنتاجه، ولكنه يوفر تغذية راجعة واضحة وفورية لكل مثال تدريبي. أما التعلم المعزز فيتجاوز مشكلة التصنيف تمامًا، ولكنه يطرح تحديًا خاصًا به: فإشارة المكافأة غالبًا ما تكون متفرقة ومتأخرة، مما يجعل تحديد الفضل صعبًا. قد يتخذ النظام مئات الإجراءات قبل أن يتلقى أي تغذية راجعة ذات مغزى حول ما إذا كانت استراتيجيته العامة ناجحة.
يهيمن التعلم الخاضع للإشراف على الصناعات التي تتوفر فيها بيانات تاريخية ذات نتائج معروفة، متفوقًا في مهام التصنيف والانحدار والتعرف على الأنماط، مثل تشخيص الأمراض من الصور الطبية أو كشف المعاملات الاحتيالية. أما التعلم المعزز، فيتألق في مشاكل اتخاذ القرارات المتسلسلة حيث يجب اكتشاف الاستراتيجية المثلى من خلال التفاعل، مثل تعليم الروبوتات المشي، وتحسين سلاسل التوريد، أو إتقان ألعاب معقدة مثل StarCraft II.
يواجه كلا النهجين عقباتٍ مختلفة. يعاني التعلّم الخاضع للإشراف من مشكلة تغيّر التوزيع، حيث يكون أداء النماذج ضعيفًا على البيانات المختلفة عن أمثلة التدريب، وقد يُؤدي ذلك إلى استمرار التحيزات الموجودة في البيانات المصنفة. أما التعلّم المعزز، فيُعالج المفاضلة بين الاستكشاف والاستغلال، وعدم كفاءة العينات، وصعوبة تصميم دوال المكافأة التي تُجسّد السلوك المرغوب دون عواقب غير مقصودة. ولا يزال استقرار التدريب مجالًا بحثيًا نشطًا لكلا النموذجين.
لقد تطور التعلم الخاضع للإشراف ليصبح مجالًا قابلًا للتوسع بشكل كبير، حيث أظهرت النماذج المدربة مسبقًا مثل BERT وGPT قدرات مذهلة في نقل التعلم. يتطلب التعلم المعزز موارد حاسوبية ضخمة للبيئات المعقدة، على الرغم من أن إنجازات مثل AlphaGo وAlphaZero أثبتت قدرته على تحقيق أداء يفوق القدرات البشرية في مجالات محددة. ويتم دمج هذين النهجين بشكل متزايد في أنظمة هجينة تستفيد من نقاط قوة كل منهما.
يحتاج التعلم المعزز دائمًا إلى بيانات أكثر من التعلم الخاضع للإشراف.
على الرغم من أن التعلم المعزز يتطلب عادةً تفاعلات عديدة، إلا أن المقارنة ليست مباشرة. فصورة واحدة مصنفة يمكن أن تُعلّم نموذجًا خاضعًا للإشراف، لكن عوامل التعلم المعزز قد تتعلم بكفاءة من عدد قليل نسبيًا من الحلقات في بيئات مصممة جيدًا. تكمن المشكلة الحقيقية في أن تفاعلات التعلم المعزز متسلسلة ويصعب موازاتها مقارنةً بمعالجة مجموعات البيانات الثابتة.
أصبح التعلم الخاضع للإشراف قديماً بسبب النجاحات الأخيرة للتعلم المعزز.
لا يزال التعلم الخاضع للإشراف الركيزة الأساسية لتطبيقات الذكاء الاصطناعي العملية. فمعظم أنظمة الإنتاج، بدءًا من محركات التوصيات وصولًا إلى التشخيص الطبي، تعتمد على أساليب التعلم الخاضع للإشراف. أما إنجازات التعلم المعزز البارزة في مجال الألعاب، فلا تنطبق على معظم تطبيقات الأعمال التي تتوفر فيها بيانات مصنفة مسبقًا، ولا تتطلب اتخاذ قرارات متسلسلة.
لا يحتاج التعلم المعزز إلى أي بيانات على الإطلاق.
على الرغم من أن التعلم المعزز لا يتطلب مجموعات بيانات مصنفة، إلا أنه لا يزال بحاجة إلى بيئة للتفاعل معها، والتي غالبًا ما تحتوي على بيانات ضمنية أو تتطلب محاكاة. يقوم العامل بتوليد بيانات التدريب الخاصة به من خلال الاستكشاف، ولكن هذه البيانات تأتي على حساب وقت الحوسبة وعواقب محتملة في العالم الحقيقي في الأنظمة المُطبقة.
تتميز نماذج التعلم الخاضع للإشراف بقدرتها على التعميم بشكل أفضل من وكلاء التعلم المعزز.
يعتمد التعميم على المشكلة والتطبيق. يمكن لوكيل التعلم المعزز المدرب على سيناريوهات متنوعة أن يطور سياسات مرنة للغاية، بينما غالبًا ما تفشل النماذج الخاضعة للإشراف عند مواجهة توزيعات مختلفة عن بيانات التدريب. ويواجه كلا النهجين صعوبة في التعامل مع الأمثلة الخارجة عن التوزيع بطرق مختلفة.
يجب عليك اختيار إما التعلم الخاضع للإشراف أو التعلم المعزز لأي مشكلة معينة.
تجمع أنظمة الذكاء الاصطناعي الحديثة غالبًا بين كلا النهجين. فقد يستخدم الروبوت التعلم الخاضع للإشراف للإدراك (التعرف على الأشياء) والتعلم المعزز للتحكم (اتخاذ القرارات الحركية). أما التعلم بالتقليد، وهو شكل من أشكال استنساخ السلوك، فيستخدم التعلم الخاضع للإشراف لتعزيز التعلم المعزز، مما يحسن كفاءة استخدام العينات بشكل كبير.
اختر التعلم الخاضع للإشراف عندما تتوفر لديك بيانات مصنفة عالية الجودة وتحتاج إلى إجراء تنبؤات أو تصنيفات في مشاكل محددة جيدًا مثل التعرف على الصور أو كشف الاحتيال. اختر التعلم المعزز عند التعامل مع اتخاذ القرارات المتسلسلة في بيئات ديناميكية حيث يجب اكتشاف الاستراتيجية المثلى من خلال التفاعل، مثل الروبوتات أو ألعاب الفيديو أو مهام التحسين في الوقت الفعلي.
يُحسّن كلٌّ من RAG ونماذج LLM المُحسّنة جودة مخرجات الذكاء الاصطناعي، لكنهما يعملان بطرق مختلفة تمامًا. يستخلص RAG المعلومات الخارجية عند الاستعلام، بينما يُدمج التحسين المعرفة الجديدة مباشرةً في أوزان النموذج. ويعتمد الاختيار بينهما على مدى تكرار تغيّر البيانات ومستوى الدقة المطلوب.
تُعد آليات الانتباه الذاتي ونماذج فضاء الحالة من المناهج الأساسية لنمذجة التسلسلات في الذكاء الاصطناعي الحديث. يتفوق الانتباه الذاتي في التقاط العلاقات الغنية بين الرموز، ولكنه يصبح مكلفًا مع التسلسلات الطويلة، بينما تعالج نماذج فضاء الحالة التسلسلات بكفاءة أكبر مع التوسع الخطي، مما يجعلها جذابة للتطبيقات ذات السياق الطويل والتطبيقات الآنية.
تُعدّ آليات الانتباه أساسية في الذكاء الاصطناعي الحديث، سواءً في مجال رؤية الحاسوب أو معالجة اللغة الطبيعية، إلا أنها تخدم أغراضًا مختلفة وتطورت عبر مسارات متباينة. يساعد الانتباه في مجال الرؤية النماذج على التركيز على مناطق الصورة ذات الصلة، بينما يُمكّن الانتباه في معالجة اللغة الطبيعية من فهم العلاقات بين الكلمات في النصوص.
تجمع أساليب الممثل-الناقد بين تدرجات السياسة ودالة القيمة المُتعلمة لتقليل التباين وتسريع عملية التعلم، بينما تعتمد أساليب تدرج السياسة البحتة كليًا على السياسة وعوائد مونت كارلو. ويعتمد الاختيار بينهما على ما إذا كنت بحاجة إلى الاستقرار وكفاءة العينة أم إلى البساطة والتقديرات غير المتحيزة.
تُفصّل هذه المقارنة الاختلافات الهيكلية الأساسية، وحالات الاستخدام العملية، والمفاضلات في الأداء بين تعلّم الرسم البياني الزمني ونمذجة التسلسل التقليدية. فبينما تُجسّد نمذجة التسلسل التطورات الخطية كالنصوص أو بيانات السلاسل الزمنية، يُعالج تعلّم الرسم البياني الزمني تفاعلات الشبكة والعلاقات المتغيرة مع الزمن في آنٍ واحد، مما يُوفر لك مخططًا شاملاً لاختيار البنية المناسبة.
