يعتمد التعلم بالتجربة والخطأ، والذي يُعرف غالبًا بالتعلم المعزز، على تدريب الذكاء الاصطناعي من خلال المكافآت والعقوبات الناتجة عن التفاعل مع البيئة. أما التعلم باستخدام مجموعات البيانات المصنفة، والمعروف بالتعلم الخاضع للإشراف، فيُدرّب النماذج باستخدام أمثلة مصنفة مسبقًا. يُشكّل كلا النهجين كيفية اكتساب الآلات للمهارات، لكنهما يختلفان اختلافًا جوهريًا في متطلبات البيانات وآليات التغذية الراجعة.
نهج تدريبي تتعلم فيه وكلاء الذكاء الاصطناعي السلوكيات المثلى من خلال التغذية الراجعة البيئية، حيث يتلقون مكافآت على الأفعال الجيدة وعقوبات على الأفعال السيئة.
أسلوب تدريب تتعلم فيه نماذج الذكاء الاصطناعي أنماطًا من مجموعات البيانات التي تحتوي على أزواج من المدخلات والمخرجات التي قام البشر بتصنيفها يدويًا بالإجابات الصحيحة.
| الميزة | التعلم بالتجربة والخطأ | التعلم باستخدام مجموعات البيانات المصنفة |
|---|---|---|
| نموذج التعلم | التعلم المعزز (RL) | التعلم الخاضع للإشراف (SL) |
| متطلبات البيانات | بيئة أو محاكي للتفاعل | أزواج الإدخال والإخراج المصنفة مسبقًا |
| إشارة التغذية الراجعة | مكافآت أو عقوبات متدرجة نتيجة للأفعال | التصنيفات الصحيحة لكل مثال |
| جهد التعليق البشري | الحد الأدنى أو لا شيء أثناء التدريب | يلزم وضع ملصقات شاملة مسبقًا |
| سرعة التدريب | غالباً ما يكون الأمر بطيئاً بسبب احتياجات الاستكشاف | بشكل عام، تكون أسرع مع إشارات التدرج المباشر |
| كفاءة العينة | عادةً ما يكون منخفضًا، ويتطلب العديد من التفاعلات | في المستويات الأعلى، يتعلمون مباشرة من الأمثلة |
| أفضل حالات الاستخدام | القرارات المتسلسلة، الألعاب، الروبوتات | التصنيف، الانحدار، التنبؤ |
| القدرة الاستكشافية | مدمج، يكتشف استراتيجيات جديدة | يقتصر على الأنماط الموجودة في بيانات التدريب |
| الخوارزميات الرئيسية | التعلم المعزز، PPO، DQN، A3C | الانحدار الخطي، الشبكات العصبية التلافيفية، المحولات، آلات المتجهات الداعمة |
يعتمد التعلم بالتجربة والخطأ على تفاعل النظام مع البيئة ومراقبة نتائج أفعاله. فعندما يُحقق النظام فائدة، يحصل على مكافأة رقمية؛ وعندما يُخطئ، يُعاقب أو لا يحصل على شيء. وعلى مدار آلاف أو ملايين التكرارات، يبني النظام تدريجيًا سياسة تُعظم المكافأة التراكمية. أما التعلم باستخدام مجموعات البيانات المصنفة فيسلك مسارًا مختلفًا تمامًا. ففي هذه الحالة، يُعدّ البشر مجموعة بيانات حيث يُقرن كل مُدخل بالمُخرج الصحيح، ويُعدّل النموذج معاييره الداخلية لمطابقة تلك الإجابات بأكبر قدر ممكن من الدقة.
يكمن أحد أبرز الاختلافات العملية في كيفية الحصول على بيانات التدريب. يتطلب التعلم الخاضع للإشراف مجموعات بيانات مصنفة بدقة، وقد يكون إنشاؤها مهمة ضخمة. على سبيل المثال، غالبًا ما تتطلب مشاريع التصوير الطبي أخصائيي أشعة خبراء لتصنيف آلاف الصور، مما يرفع التكاليف إلى مئات آلاف الدولارات. يتجاوز التعلم المعزز هذه العقبة من خلال توليد إشارة التدريب الخاصة به عبر التفاعل، ولكنه يستبدل هذه المشكلة بأخرى: الحاجة إلى بيئة واقعية أو محاكاة حيث يمكن للعامل التجربة بأمان.
عندما يتعلق الهدف باتخاذ قرارات متسلسلة حيث تُعدّ الاستراتيجية طويلة الأمد ذات أهمية، يبرز التعلّم بالتجربة والخطأ. فقد تمكّنت أنظمة التعلّم المعزز من إتقان ألعاب مثل الشطرنج، والجو، وستار كرافت، وذلك بفضل اكتشافها استراتيجيات لم يسبق لأي إنسان أن تصوّرها. أما التعلّم الخاضع للإشراف، فيُهيمن عندما تتوفر أمثلة واضحة للسلوك الصحيح، وتحتاج إلى تنبؤات موثوقة بناءً على بيانات جديدة. وتعتمد مهام مثل كشف المعاملات الاحتيالية، والتعرّف على الوجوه في الصور، أو الترجمة بين اللغات، اعتمادًا كبيرًا على مجموعات التدريب المصنّفة، لأنّ العلاقة بين المدخلات والمخرجات تكون واضحة المعالم.
يُعاني التعلّم المعزز من مشكلة عدم كفاءة العينات، إذ يتطلب أحيانًا ملايين المحاولات لتعلم مهام يُمكن للإنسان استيعابها في دقائق. كما يواجه معضلة الاستكشاف والاستغلال، حيث يجب على النظام الموازنة بين تجربة إجراءات جديدة والتمسك بالإجراءات الناجحة المعروفة. في المقابل، يُقيّد التعلّم الخاضع للإشراف بجودة وتنوع بيانات التدريب المُصنّفة. قد ترث النماذج تحيزات بشرية، وتفشل عند استخدام مُدخلات خارجة عن التوزيع، وتصل إلى مرحلة الثبات عند نفاد البيانات المُصنّفة. يشترك كلا النهجين في تحديات تتعلق بقابلية التفسير والسلامة، وإن كانت تظهر بشكل مختلف.
لقد تلاشت الحدود بين هذين النموذجين بشكل ملحوظ في السنوات الأخيرة. تجمع تقنيات مثل RLHF (التعلم المعزز من خلال التغذية الراجعة البشرية) بين كلا العالمين باستخدام تفضيلات المستخدمين كمؤشرات مكافأة لضبط النماذج التي تم تدريبها مبدئيًا على بيانات مصنفة. كما برز التعلم الذاتي كحل وسط، حيث تقوم النماذج بإنشاء تصنيفاتها الخاصة من بيانات غير مصنفة قبل ضبطها على مجموعات بيانات أصغر منتقاة بعناية. غالبًا ما تتفوق هذه الأساليب الهجينة على الأساليب البحتة، مما يشير إلى أن مستقبل تدريب الذكاء الاصطناعي يكمن في الجمع بين نقاط قوة كلا الاستراتيجيتين.
يتطلب التعلم المعزز دائمًا وجود روبوت مادي لكي يعمل.
تُجرى معظم أبحاث التعلم المعزز الحديثة بالكامل في برامج المحاكاة. وتتراوح بيئات هذه البرامج بين ألعاب الفيديو ومحركات الفيزياء وصولاً إلى العوالم الافتراضية المصممة خصيصًا. ولا تُستخدم الروبوتات المادية إلا عندما يتطلب التطبيق النهائي نشرها في العالم الحقيقي، وحتى في هذه الحالة، يبدأ التدريب عادةً في بيئة محاكاة قبل نقله إلى الأجهزة.
يمكن للتعلم الخاضع للإشراف أن يحل أي مشكلة إذا قمت فقط بتزويده بكمية كافية من البيانات.
لا يُفيد توفير المزيد من البيانات إلا إلى حدٍّ معين. فإذا كانت التصنيفات مشوشة أو متحيزة أو لا تُغطي الحالات الحدية المهمة، فسيكتشف النموذج هذه العيوب. وتُعدّ جودة وتنوع البيانات المُصنّفة بنفس أهمية كميتها، وبعض المشكلات ببساطة لا يُمكن صياغتها كمهام تنبؤ مُشرف عليها.
التعلم بالتجربة والخطأ هو تعلم غير خاضع للإشراف على الإطلاق.
يُعدّ التعلّم المعزز فئةً مستقلةً بحدّ ذاتها، منفصلةً عن كلٍّ من التعلّم الخاضع للإشراف والتعلّم غير الخاضع للإشراف. ورغم أنه لا يحتاج إلى مدخلات مُصنّفة، إلا أنه يعتمد على إشارات المكافأة التي يجب أن يصمّمها البشر. ويُمثّل تصميم دالة مكافأة جيدة تحديًا هندسيًا بحدّ ذاته.
أصبح التعلم باستخدام مجموعات البيانات المصنفة أسلوباً قديماً بسبب أساليب التعلم الذاتي.
لا يزال التعلم الخاضع للإشراف هو الركيزة الأساسية لأنظمة الذكاء الاصطناعي الإنتاجية. غالبًا ما يقلل التدريب المسبق ذاتي الإشراف من كمية البيانات المصنفة المطلوبة، لكن الضبط الدقيق على الأمثلة المصنفة لا يزال ضروريًا لمعظم التطبيقات المنشورة. يكمل هذان النهجان بعضهما البعض ولا يحل أحدهما محل الآخر.
تجد وكلاء التعلم المعزز دائمًا الحل الأمثل إذا توفر لهم الوقت الكافي.
قد تتعثر وكلاء التعلم المعزز في سياسات غير مثالية، خاصةً عندما تكون إشارات المكافأة قليلة أو مصممة بشكل سيئ. يُعد الاستكشاف صعبًا بطبيعته، وقد لا يكتشف الوكلاء استراتيجيات أفضل أبدًا إذا كانت المكافآت مضللة أو إذا كانت مساحة الحالة واسعة جدًا بحيث يتعذر البحث فيها بدقة.
اختر أسلوب التعلم بالتجربة والخطأ عندما تتضمن مشكلتك قرارات متسلسلة، أو بيئات ديناميكية، أو مواقف يصعب فيها تحديد السلوك الصحيح مسبقًا، مثل التحكم في الروبوتات أو الألعاب الاستراتيجية. اختر التعلم باستخدام مجموعات البيانات المصنفة عندما تتوفر لديك بيانات مصنفة عالية الجودة وتحتاج إلى تنبؤات موثوقة في مهام محددة جيدًا مثل التصنيف، أو الانحدار، أو التعرف على الأنماط. تستفيد العديد من الأنظمة الواقعية من الجمع بين كلا النهجين بدلًا من اختيار أحدهما فقط.
يُحسّن كلٌّ من RAG ونماذج LLM المُحسّنة جودة مخرجات الذكاء الاصطناعي، لكنهما يعملان بطرق مختلفة تمامًا. يستخلص RAG المعلومات الخارجية عند الاستعلام، بينما يُدمج التحسين المعرفة الجديدة مباشرةً في أوزان النموذج. ويعتمد الاختيار بينهما على مدى تكرار تغيّر البيانات ومستوى الدقة المطلوب.
تُعد آليات الانتباه الذاتي ونماذج فضاء الحالة من المناهج الأساسية لنمذجة التسلسلات في الذكاء الاصطناعي الحديث. يتفوق الانتباه الذاتي في التقاط العلاقات الغنية بين الرموز، ولكنه يصبح مكلفًا مع التسلسلات الطويلة، بينما تعالج نماذج فضاء الحالة التسلسلات بكفاءة أكبر مع التوسع الخطي، مما يجعلها جذابة للتطبيقات ذات السياق الطويل والتطبيقات الآنية.
تُعدّ آليات الانتباه أساسية في الذكاء الاصطناعي الحديث، سواءً في مجال رؤية الحاسوب أو معالجة اللغة الطبيعية، إلا أنها تخدم أغراضًا مختلفة وتطورت عبر مسارات متباينة. يساعد الانتباه في مجال الرؤية النماذج على التركيز على مناطق الصورة ذات الصلة، بينما يُمكّن الانتباه في معالجة اللغة الطبيعية من فهم العلاقات بين الكلمات في النصوص.
تجمع أساليب الممثل-الناقد بين تدرجات السياسة ودالة القيمة المُتعلمة لتقليل التباين وتسريع عملية التعلم، بينما تعتمد أساليب تدرج السياسة البحتة كليًا على السياسة وعوائد مونت كارلو. ويعتمد الاختيار بينهما على ما إذا كنت بحاجة إلى الاستقرار وكفاءة العينة أم إلى البساطة والتقديرات غير المتحيزة.
تُفصّل هذه المقارنة الاختلافات الهيكلية الأساسية، وحالات الاستخدام العملية، والمفاضلات في الأداء بين تعلّم الرسم البياني الزمني ونمذجة التسلسل التقليدية. فبينما تُجسّد نمذجة التسلسل التطورات الخطية كالنصوص أو بيانات السلاسل الزمنية، يُعالج تعلّم الرسم البياني الزمني تفاعلات الشبكة والعلاقات المتغيرة مع الزمن في آنٍ واحد، مما يُوفر لك مخططًا شاملاً لاختيار البنية المناسبة.
