تُبنى المعرفة الأساسية للنموذج من خلال التدريب المسبق باستخدام مجموعات بيانات ضخمة، بينما يُحسّن التدريب اللاحق هذه المعرفة الأساسية لتناسب مهام محددة وتتوافق مع القدرات البشرية. كلا المرحلتين ضروريتان في تطوير الذكاء الاصطناعي الحديث، حيث تؤديان أدوارًا متكاملة وليست متنافسة.
المرحلة التدريبية الأولية حيث يتعلم النموذج أنماطًا عامة من كميات هائلة من النصوص أو البيانات الخام.
التقنيات التي يتم تطبيقها بعد التدريب المسبق لتخصيص النموذج، وتحسين التوافق، وتعزيز أداء المهمة.
| الميزة | التدريب المسبق | تحسين ما بعد التدريب |
|---|---|---|
| مرحلة في خط الإنتاج | المرحلة الأولى من تطوير النموذج | يتبع التدريب المسبق |
| الهدف الرئيسي | تعلم المعرفة العامة والأنماط | قم بتخصيص النموذج ومواءمته |
| متطلبات البيانات | تريليونات من الرموز، غير مصنفة | آلاف إلى ملايين الأمثلة المصنفة |
| حساب التكلفة | مرتفع للغاية (بملايين الدولارات) | متوسط (بآلاف الدولارات) |
| التقنيات الشائعة | التعلم الذاتي، ونمذجة اللغة المقنعة | SFT، RLHF، DPO، الذكاء الاصطناعي الدستوري |
| الناتج | نموذج أساسي ذو إمكانيات واسعة | نموذج متوافق وجاهز للمهمة |
| مدة | أسابيع إلى شهور في التجمعات الكبيرة | من ساعات إلى أيام |
| قابلية الانعكاس | نقطة انطلاق لجميع الأعمال اللاحقة | يمكن تكرارها أو تعديلها |
تُعدّ مرحلة التدريب المسبق بمثابة بناء الأساس، حيث يستوعب النموذج المعرفة العامة من كميات هائلة من البيانات الخام. وبدونها، لن يمتلك النموذج أي فهم أساسي للغة أو المنطق أو حقائق العالم. أما مرحلة التحسين بعد التدريب، فتأخذ هذا الأساس وتُشكّله ليصبح مفيدًا، إذ تُعلّم النموذج كيفية اتباع التعليمات، ورفض الطلبات الضارة، والتفوّق في مهام محددة. تخيّل مرحلة التدريب المسبق كاكتساب تعليم عام، ومرحلة التحسين بعد التدريب كتدريب وظيفي متخصص يليه.
يُعدّ الفرق في الحجم بين هاتين المرحلتين هائلاً. تتطلب مرحلة التدريب المسبق مجموعات بيانات ضخمة، تصل في كثير من الأحيان إلى تريليونات الرموز، وتُشغّل على آلاف وحدات معالجة الرسومات (GPUs) لأسابيع أو شهور. أما مرحلة التدريب اللاحق فتُشغّل على نطاق أصغر بكثير، باستخدام مجموعات بيانات مُنسّقة تتراوح عادةً بين آلاف وملايين الأمثلة. وهذا ما يجعل مرحلة التدريب اللاحق أكثر سهولةً للفرق الصغيرة والباحثين الذين يرغبون في تخصيص النماذج الموجودة دون الحاجة إلى بنائها من الصفر.
يعتمد التدريب المسبق على أهداف التعلم الذاتي، حيث يتعلم النموذج نفسه من خلال التنبؤ بالرموز المفقودة أو التالية في التسلسلات. أما تحسين ما بعد التدريب فيشمل مجموعة أدوات متنوعة، منها الضبط الدقيق الخاضع للإشراف على أزواج التعليمات والاستجابات، وRLHF الذي يستخدم تصنيفات التفضيل البشري لتدريب نموذج المكافأة، وأساليب أحدث مثل DPO التي تُبسط عملية المحاذاة. وتُعالج كل تقنية من تقنيات ما بعد التدريب أهدافًا مختلفة، بدءًا من تقديم المساعدة الأساسية وصولًا إلى قدرات الاستدلال المعقدة.
يُعدّ النموذج المُدرّب مسبقًا، في جوهره، نظام إكمال تلقائي متطور، فهو قادر على توليد نصوص متماسكة، لكنه لا يتبع التعليمات بدقة ولا يتصرف بشكل آمن. أما التدريب اللاحق فهو ما يحوّل نموذج اللغة الخام إلى مساعد دردشة تفاعلي ترغب فعلاً في استخدامه. وتُحدّد عملية الضبط التي تُجرى في مرحلة التدريب اللاحق ما إذا كان النموذج مفيدًا، وغير ضار، وصادقًا، وقادرًا على إجراء محادثات دقيقة.
يُتيح التدريب اللاحق مرونةً أكبر بكثير، إذ يُمكن تكراره ودمجه وتعديله دون الحاجة إلى البدء من الصفر. يُمكن للفرق تحسين النموذج للتطبيقات الطبية، ثم تطبيق تحسينات إضافية لتلبية احتياجات مستشفى مُحدد. أما التدريب المُسبق، فيُنتج قاعدة ثابتة يُبنى عليها الجميع. لهذا السبب، حوّل مجتمع الذكاء الاصطناعي تركيزه نحو أبحاث التدريب اللاحق، حيث تتحقق التخصيصات والتمييزات بأسرع وقت.
يكفي التدريب المسبق وحده لإنشاء مساعد ذكاء اصطناعي مفيد.
النموذج المُدرَّب مسبقًا هو في الأساس مُكمِّل نصوص متطور. وبدون تحسين ما بعد التدريب، لا يمكنه اتباع التعليمات بدقة، أو رفض الطلبات الضارة، أو الحفاظ على محادثات متماسكة. جميع روبوتات الدردشة المُستخدمة في الإنتاج تتطلب جهدًا كبيرًا بعد التدريب.
إن تحسين ما بعد التدريب ليس سوى عملية ضبط دقيقة بسيطة.
يشمل التدريب اللاحق الحديث مجموعة متطورة من التقنيات، بما في ذلك RLHF وDPO والذكاء الاصطناعي البنيوي والتدريب المرتكز على الاستدلال. تتضمن هذه الأساليب نمذجة معقدة للمكافآت، وتعلم التفضيلات، وتحسينًا تكراريًا يتجاوز بكثير الضبط الدقيق الأساسي الخاضع للإشراف.
يؤدي المزيد من التدريب المسبق دائمًا إلى نماذج أفضل.
أظهرت الأبحاث أن زيادة حجم بيانات التدريب المسبق لا تُحقق عوائد تُذكر. وقد أقرّ هذا المجال بشكل متزايد بأن التحسينات التي تُجرى بعد التدريب، وخاصة فيما يتعلق بالاستدلال والمحاذاة، يمكن أن تُحقق مكاسب أكبر من زيادة موارد الحوسبة المستخدمة في التدريب المسبق.
RLHF و DPO هما نفس الشيء.
على الرغم من أن كلا النموذجين يهدفان إلى مواءمة النماذج مع تفضيلات المستخدم، إلا أنهما يعملان بطريقة مختلفة. يقوم نموذج RLHF بتدريب نموذج مكافأة منفصل يوجه عملية التعلم المعزز، بينما يقوم نموذج DPO بتحسين السياسة مباشرةً باستخدام أزواج التفضيلات دون الحاجة إلى نموذج مكافأة. يُعدّ نموذج DPO أبسط، ولكنه قد يتميز بخصائص أداء مختلفة.
يمكن لعملية ما بعد التدريب إصلاح أي مشكلة في النموذج الأساسي.
لا يمكن للتدريب اللاحق إنشاء قدرات غير موجودة في النموذج الأساسي. فإذا كان النموذج المدرب مسبقًا يفتقر إلى معارف أو قدرات استدلالية معينة، فلن تُضيفها أي عملية ضبط دقيقة. فالأساس الذي يُرسى خلال التدريب المسبق يُقيّد ما هو ممكن لاحقًا.
لا يُعدّ تحسين ما قبل التدريب وتحسين ما بعد التدريب نهجين متنافسين، بل هما مرحلتان متتاليتان لهما أهمية بالغة. يُعدّ تحسين ما قبل التدريب ضروريًا عند بناء نموذج أساسي جديد من الصفر والحاجة إلى إمكانيات واسعة، بينما يُعدّ تحسين ما بعد التدريب الخيار الأمثل لمعظم الفرق التي ترغب في تكييف النماذج الحالية لحالات استخدام محددة. بالنسبة لمعظم المؤسسات، يُحقق تحسين ما بعد التدريب أفضل عائد على الاستثمار لأنه يبني على العمل الذي أنجزته المختبرات الكبرى بالفعل.
يُحسّن كلٌّ من RAG ونماذج LLM المُحسّنة جودة مخرجات الذكاء الاصطناعي، لكنهما يعملان بطرق مختلفة تمامًا. يستخلص RAG المعلومات الخارجية عند الاستعلام، بينما يُدمج التحسين المعرفة الجديدة مباشرةً في أوزان النموذج. ويعتمد الاختيار بينهما على مدى تكرار تغيّر البيانات ومستوى الدقة المطلوب.
تُعد آليات الانتباه الذاتي ونماذج فضاء الحالة من المناهج الأساسية لنمذجة التسلسلات في الذكاء الاصطناعي الحديث. يتفوق الانتباه الذاتي في التقاط العلاقات الغنية بين الرموز، ولكنه يصبح مكلفًا مع التسلسلات الطويلة، بينما تعالج نماذج فضاء الحالة التسلسلات بكفاءة أكبر مع التوسع الخطي، مما يجعلها جذابة للتطبيقات ذات السياق الطويل والتطبيقات الآنية.
تُعدّ آليات الانتباه أساسية في الذكاء الاصطناعي الحديث، سواءً في مجال رؤية الحاسوب أو معالجة اللغة الطبيعية، إلا أنها تخدم أغراضًا مختلفة وتطورت عبر مسارات متباينة. يساعد الانتباه في مجال الرؤية النماذج على التركيز على مناطق الصورة ذات الصلة، بينما يُمكّن الانتباه في معالجة اللغة الطبيعية من فهم العلاقات بين الكلمات في النصوص.
تجمع أساليب الممثل-الناقد بين تدرجات السياسة ودالة القيمة المُتعلمة لتقليل التباين وتسريع عملية التعلم، بينما تعتمد أساليب تدرج السياسة البحتة كليًا على السياسة وعوائد مونت كارلو. ويعتمد الاختيار بينهما على ما إذا كنت بحاجة إلى الاستقرار وكفاءة العينة أم إلى البساطة والتقديرات غير المتحيزة.
تُفصّل هذه المقارنة الاختلافات الهيكلية الأساسية، وحالات الاستخدام العملية، والمفاضلات في الأداء بين تعلّم الرسم البياني الزمني ونمذجة التسلسل التقليدية. فبينما تُجسّد نمذجة التسلسل التطورات الخطية كالنصوص أو بيانات السلاسل الزمنية، يُعالج تعلّم الرسم البياني الزمني تفاعلات الشبكة والعلاقات المتغيرة مع الزمن في آنٍ واحد، مما يُوفر لك مخططًا شاملاً لاختيار البنية المناسبة.
