يدمج التعلم القائم على التغذية الراجعة البشرية الأحكام البشرية في الوقت الفعلي لتحسين سلوك الذكاء الاصطناعي، بينما يقوم التعلم الخاضع للإشراف على البيانات النقية بتدريب النماذج حصريًا على مجموعات البيانات المصنفة دون تدخل بشري مستمر أثناء عملية التدريب.
نهج تدريب الذكاء الاصطناعي الذي يدمج المقيمين البشريين لتوجيه وتصحيح وتحسين مخرجات النموذج بشكل متكرر.
التعلم الآلي التقليدي حيث تتعلم النماذج الأنماط فقط من مجموعات البيانات المصنفة مسبقًا دون توجيه بشري مباشر.
| الميزة | التعلم من خلال التغذية الراجعة البشرية | التعلم الخاضع للإشراف باستخدام البيانات النقية |
|---|---|---|
| إشارة التدريب الأساسية | تصنيفات التفضيل البشري والتصحيحات الصريحة | تم تعيين تصنيفات ثابتة لأمثلة الإدخال |
| المشاركة البشرية | تقديم ملاحظات مستمرة أو دورية طوال دورة التدريب | يقتصر على إنشاء مجموعة البيانات الأولية |
| قابلية التوسع | مكلفة بسبب تكاليف التقييم البشري والتنسيق | تصبح أكثر قابلية للتوسع بمجرد إنشاء مجموعة البيانات، لكن عملية التصنيف لا تزال مكلفة. |
| التوافق مع القيم الإنسانية | تم تحسينها بشكل صريح من خلال آليات التغذية الراجعة | يعتمد ضمنيًا على جودة التصنيف وتصميم مجموعة البيانات |
| تصحيح الأخطاء | ديناميكي - يمكن للبشر رصد وإصلاح أنماط الفشل الناشئة | ثابتة - تستمر الأخطاء ما لم تتم إعادة تسمية مجموعة البيانات |
| حالات الاستخدام النموذجية | الذكاء الاصطناعي التفاعلي، ومراقبة المحتوى، ومهام الاستدلال المعقدة | تصنيف الصور، والتعرف على الكلام، والتنبؤ الهيكلي |
| استقرار التدريب | أكثر تعقيدًا بسبب اختراق المكافآت وقيود نموذج المكافآت | بشكل عام، يكون أكثر استقرارًا مع إجراءات التحسين الراسخة |
يعتمد التعلم الخاضع للإشراف باستخدام البيانات البحتة على مبدأ بسيط: تزويد النموذج بأزواج من المدخلات والمخرجات وتقليل خطأ التنبؤ. وتستمد إشارة التعلم بالكامل من التصنيفات الموجودة مسبقًا. في المقابل، يُدخل التعلم القائم على التغذية الراجعة البشرية خطوة وسيطة حيث يقوم المُقيّمون البشريون بتشكيل دالة مكافأة تُوجّه النموذج. هذه الطبقة الإضافية تعني أن النموذج لا يكتفي بتوقع التصنيفات، بل يتعلم ما يُفضّله البشر فعليًا، مما يُتيح له استيعاب الفروق الدقيقة التي تغفلها التصنيفات الجامدة تمامًا.
يتطلب بناء مجموعة بيانات للتعلم الخاضع للإشراف استثمارًا ضخمًا في البداية. توظف شركات مثل Scale AI وAppen آلافًا من المصنفين، ومع ذلك، بمجرد تصنيف البيانات، تظل صالحة للاستخدام إلى أجل غير مسمى. أما التعلم القائم على التغذية الراجعة البشرية فيُحوّل التكاليف إلى عمليات مستمرة، حيث تستخدم مشاريع مثل نظام الذكاء الاصطناعي الدستوري من Anthropic وجهود OpenAI في مجال المحاذاة فرقًا من المقيمين البشريين لأشهر أو سنوات. وتشير بعض التقديرات إلى أن تكلفة التعلم القائم على التغذية الراجعة البشرية لنموذج لغوي رئيسي تصل إلى عشرات الملايين من الدولارات.
تُعيد النماذج الخاضعة للإشراف إنتاج الأنماط الموجودة في بيانات التدريب بدقة، بما في ذلك اللغة المسيئة، والصور النمطية، والأخطاء الواقعية إن وُجدت. ويعالج التعلم القائم على التغذية الراجعة البشرية هذه المشكلة مباشرةً من خلال تمكين المدربين من معاقبة المخرجات غير المرغوب فيها. تُظهر الأبحاث التي أجرتها ديب مايند وستانفورد أن التعلم القائم على التغذية الراجعة البشرية يُحسّن بشكل ملحوظ مقاييس الفائدة وعدم الضرر. ومع ذلك، فإن هذا النهج ليس مضمونًا تمامًا، إذ يمكن للنماذج أن تتعلم الظهور بمظهر متوافق مع المعايير بينما لا تزال تُخفي سلوكيات إشكالية، وهي ظاهرة يُطلق عليها الباحثون اسم "التلاعب بالمكافآت" أو "تزييف التوافق".
غالباً ما يواجه التعلم الخاضع للإشراف صعوبة في التعامل مع تغير توزيع البيانات عند تطبيقه في بيئات تختلف عن بيانات التدريب. يمكن أن توفر الملاحظات البشرية إشارات تصحيحية تُحسّن التعميم، لا سيما في المهام التي يصعب فيها تحديد الإجابات الصحيحة بموضوعية. في المقابل، قد تُدخل ملاحظات المقيمين غير المتخصصين تحيزات جديدة أو تبسيطات مفرطة. وثّقت ورقة بحثية نُشرت عام 2023 بعنوان "مشكلة التوافق في الممارسة" حالاتٍ أصبحت فيها النماذج المُحسّنة للحصول على موافقة بشرية مُتملقة بشكل مفرط، مُوافقةً على فرضيات المستخدم حتى عندما تكون خاطئة من الناحية الواقعية.
تجمع معظم أنظمة الإنتاج بين كلا النهجين. يبدأ المهندسون عادةً بضبط دقيق مُشرف عليه على مجموعات بيانات مُنسقة، ثم يُضيفون ملاحظات بشرية لتحسين الأداء. تُوازن هذه الاستراتيجية الهجينة بين كفاءة أساليب البيانات البحتة ومزايا التوجيه البشري في التوافق. على سبيل المثال، يُقال إن نظام بارد من جوجل استخدم هذا النهج ذو المرحلتين، كما فعل نظام إنستركت جي بي تي الأصلي قبل إصدار تشات جي بي تي.
يؤدي التعلم القائم على التغذية الراجعة البشرية إلى الاستغناء عن الحاجة إلى مجموعات بيانات تدريب كبيرة.
لا تزال خوارزمية RLHF والأساليب المشابهة تتطلب نماذج أساسية ضخمة، تُدرَّب عادةً باستخدام مجموعات بيانات خاضعة للإشراف. يُحسِّن عنصر التغذية الراجعة البشرية السلوك، لكنه لا يُغني عن متطلبات البيانات الأساسية. حتى برنامج InstructGPT بدأ بنموذج GPT-3، الذي دُرِّب على مئات المليارات من الرموز.
أصبح التعلم الخاضع للإشراف أسلوباً عفا عليه الزمن الآن بعد وجود أساليب التغذية الراجعة البشرية.
لا يزال التعلم الخاضع للإشراف الركيزة الأساسية للذكاء الاصطناعي العملي في مختلف القطاعات، من التمويل إلى الرعاية الصحية. وتعتمد معظم أنظمة التغذية الراجعة البشرية في الواقع على أسس التعلم الخاضع للإشراف، ولا تتطلب العديد من التطبيقات تعقيد حلقات التغذية الراجعة الإضافية، بل ولا تستفيد منها.
تؤدي التعليقات البشرية دائمًا إلى نتائج واقعية أكثر دقة.
يهدف تحسين التغذية الراجعة إلى كسب رضا المستخدمين، وهو ما يرتبط ارتباطًا غير كامل بصحة المعلومات. يمكن للنماذج أن تتعلم قول معلومات خاطئة بثقة إذا كان ذلك يرضي المُقيّمين، أو أن تُبالغ في التحفظ لتجنب الرفض. تتطلب دقة المعلومات تدخلات محددة تتجاوز مجرد تعلم التفضيلات العامة.
يُعدّ RLHF الشكل الوحيد للتعلم القائم على التغذية الراجعة البشرية.
مع أن نموذج RLHF قد اكتسب شهرة واسعة، إلا أن البدائل الأخرى مثل الضبط الدقيق الخاضع للإشراف على العروض التوضيحية البشرية (SFT)، والتحسين المباشر للتفضيلات (DPO)، والذكاء الاصطناعي الدستوري، جميعها تُدمج التوجيه البشري بطرق مختلفة. ويواصل الباحثون تطوير أساليب تقلل الاعتماد على المُقيّمين البشريين المكلفين مع الحفاظ على فوائد التوافق.
لا يمكن للتعلم الخاضع للإشراف البحت أن ينتج أنظمة ذكاء اصطناعي آمنة أو مفيدة.
تعتمد العديد من أنظمة الذكاء الاصطناعي عالية الموثوقية كلياً على أساليب الإشراف مع انتقاء دقيق لمجموعات البيانات. غالباً ما تحقق أدوات التشخيص الطبي وأنظمة مراقبة الجودة الصناعية ومحركات التعرف على الكلام سجلات سلامة ممتازة دون استخدام التعلم الآلي المعزز، وذلك من خلال ممارسات بيانات صارمة وبروتوكولات تحقق دقيقة.
اختر التعلم القائم على التغذية الراجعة البشرية عندما يكون التوافق مع تفضيلات المستخدمين، والسلامة، والسلوكيات الدقيقة في غاية الأهمية، لا سيما في أنظمة الذكاء الاصطناعي التوليدي وأنظمة المحادثة. اختر التعلم القائم على البيانات فقط عندما تكون الإجابات الصحيحة للمهام واضحة، وتتوفر بيانات مصنفة وفيرة، وتكون الكفاءة الاقتصادية هي الأهم. معظم التطبيقات الحديثة الناجحة تجمع بين كلا النهجين بشكل استراتيجي.
يُحسّن كلٌّ من RAG ونماذج LLM المُحسّنة جودة مخرجات الذكاء الاصطناعي، لكنهما يعملان بطرق مختلفة تمامًا. يستخلص RAG المعلومات الخارجية عند الاستعلام، بينما يُدمج التحسين المعرفة الجديدة مباشرةً في أوزان النموذج. ويعتمد الاختيار بينهما على مدى تكرار تغيّر البيانات ومستوى الدقة المطلوب.
تُعد آليات الانتباه الذاتي ونماذج فضاء الحالة من المناهج الأساسية لنمذجة التسلسلات في الذكاء الاصطناعي الحديث. يتفوق الانتباه الذاتي في التقاط العلاقات الغنية بين الرموز، ولكنه يصبح مكلفًا مع التسلسلات الطويلة، بينما تعالج نماذج فضاء الحالة التسلسلات بكفاءة أكبر مع التوسع الخطي، مما يجعلها جذابة للتطبيقات ذات السياق الطويل والتطبيقات الآنية.
تُعدّ آليات الانتباه أساسية في الذكاء الاصطناعي الحديث، سواءً في مجال رؤية الحاسوب أو معالجة اللغة الطبيعية، إلا أنها تخدم أغراضًا مختلفة وتطورت عبر مسارات متباينة. يساعد الانتباه في مجال الرؤية النماذج على التركيز على مناطق الصورة ذات الصلة، بينما يُمكّن الانتباه في معالجة اللغة الطبيعية من فهم العلاقات بين الكلمات في النصوص.
تجمع أساليب الممثل-الناقد بين تدرجات السياسة ودالة القيمة المُتعلمة لتقليل التباين وتسريع عملية التعلم، بينما تعتمد أساليب تدرج السياسة البحتة كليًا على السياسة وعوائد مونت كارلو. ويعتمد الاختيار بينهما على ما إذا كنت بحاجة إلى الاستقرار وكفاءة العينة أم إلى البساطة والتقديرات غير المتحيزة.
تُفصّل هذه المقارنة الاختلافات الهيكلية الأساسية، وحالات الاستخدام العملية، والمفاضلات في الأداء بين تعلّم الرسم البياني الزمني ونمذجة التسلسل التقليدية. فبينما تُجسّد نمذجة التسلسل التطورات الخطية كالنصوص أو بيانات السلاسل الزمنية، يُعالج تعلّم الرسم البياني الزمني تفاعلات الشبكة والعلاقات المتغيرة مع الزمن في آنٍ واحد، مما يُوفر لك مخططًا شاملاً لاختيار البنية المناسبة.
