تتعلم خوارزمية تحسين السياسات القائمة على التدرج استراتيجيات التحكم من خلال إشارات المكافأة التجريبية، بينما تتبع أنظمة التحكم القائمة على القواعد منطقًا مبرمجًا يدويًا. تتكيف الأولى مع البيئات المعقدة من خلال التجربة، بينما تقدم الثانية سلوكًا متوقعًا وشفافًا دون الحاجة إلى بيانات تدريب.
نهج التعلم المعزز الذي يقوم بتعديل معلمات السياسة باستخدام إشارات التدرج المستمدة من ردود الفعل على المكافأة.
بنى التحكم التي تعمل على أساس الشروط المنطقية المحددة مسبقًا، والعتبات، وعبارات "إذا-ثم" التي يكتبها المهندسون.
| الميزة | تحسين السياسات القائم على التدرج | أنظمة التحكم القائمة على القواعد |
|---|---|---|
| أسلوب التعلم | يتعلم من إشارات المكافأة عبر تحديثات التدرج | ينفذ قواعد مبرمجة مسبقًا دون تعلم |
| متطلبات البيانات | يتطلب كميات كبيرة من بيانات التفاعل | لا حاجة لبيانات التدريب |
| قابلية التفسير | غالباً ما تكون بمثابة صندوق أسود؛ فأوزان السياسات غير شفافة. | شفافية كاملة؛ يمكن قراءة القواعد مباشرة |
| القدرة على التكيف | يتكيف مع المواقف الجديدة من خلال التدريب المستمر | تم إصلاحها أثناء التصميم؛ تتطلب تحديثات يدوية |
| سرعة النشر | بطيء؛ غالباً ما يتطلب الأمر أسابيع إلى شهور من التدريب | سريع؛ انشر بمجرد كتابة القواعد واختبارها |
| التعامل مع المدخلات عالية الأبعاد | يتفوق في التعامل مع وحدات البكسل الخام، ومصفوفات المستشعرات، ومساحات الحالة المعقدة | الصعوبات بدون هندسة الميزات اليدوية |
| ضمانات السلامة | يصعب التحقق منه رسميًا؛ وقد يُظهر سلوكًا غير متوقع | يسهل التحقق من ذلك من خلال الأساليب الرسمية والاختبارات |
| التكلفة الحسابية في وقت التشغيل | أعلى؛ يتطلب استدلال الشبكة العصبية | العمليات المنطقية البسيطة كافية. |
يعمل تحسين السياسات القائم على التدرج من خلال تحديد معلمات السياسة، عادةً كشبكة عصبية، ثم تعديل أوزانها في اتجاهات تزيد من المكافأة المتوقعة. يستكشف النظام الإجراءات، ويراقب النتائج، ويستخدم تدرج إشارة المكافأة للتحسين بمرور الوقت. في المقابل، تتبع الأنظمة القائمة على القواعد شجرة قرارات ثابتة أو مجموعة من الشروط المنطقية. يكتب المهندس قاعدة مثل "إذا تجاوزت درجة الحرارة 90 درجة مئوية، قلل الطاقة"، ويلتزم المتحكم بهذه القاعدة في كل مرة دون أي انحراف.
يتطلب تطبيق طريقة تدرج السياسة تحديد دالة مكافأة، وإعداد بيئة للتفاعل، وتشغيل عملية التحسين حتى تتقارب السياسة، وهو ما قد يستغرق أيامًا أو أسابيع من الحوسبة. أما الأنظمة القائمة على القواعد فتتجاوز كل ذلك. يقوم خبير في المجال بترجمة المعرفة إلى شفرة برمجية، واختبارها، ونشرها. لكن المقابل هو أن الأنظمة القائمة على القواعد لا تعرف إلا ما تُملى عليها، بينما تستطيع السياسات المُتعلمة اكتشاف استراتيجيات لم يكتبها أي مبرمج بشكل صريح.
عندما يُخطئ نظام تحكم قائم على القواعد في أداء وظيفته، يُمكن تتبع الظروف الدقيقة التي أدت إلى هذا الخطأ. هذا النوع من إمكانية التدقيق هو ما يجعل الأنظمة القائمة على القواعد تُهيمن على مجالات الطيران والأجهزة الطبية وأنظمة التحكم في المحطات النووية. أما أساليب تدرج السياسات فلا تُوفر هذه الميزة، إذ ينشأ سلوكها من ملايين قيم الأوزان، حتى أن الباحثين أنفسهم قد يجدون صعوبة في تفسير سبب اختيار وكيل مُدرَّب لفعل مُعين في حالة مُحددة.
في المهام التي تتطلب مدخلات حسية غنية، مثل تشغيل ألعاب أتاري من وحدات البكسل الخام أو التحكم في روبوت بشري ذي عشرات المفاصل، تتفوق الطرق القائمة على التدرج بشكل واضح. فهي تتعلم السمات الهرمية تلقائيًا، ويمكنها التعامل مع مساحات الحركة المستمرة التي يصعب برمجتها يدويًا. أما الأنظمة القائمة على القواعد، فتميل إلى التوقف عند حد معين في مثل هذه الحالات، لأن عدد القواعد المطلوبة يزداد بشكل كبير مع تعقيد المدخلات.
تُفضّل الصناعات الخاضعة للتنظيم عمومًا الأنظمة القائمة على القواعد لأنها قابلة للتحقق رسميًا. إذ يُمكن إثبات أن وحدة التحكم لن تدخل أبدًا في حالات غير آمنة مُحددة. وتقاوم السياسات المُتعلّمة هذا النوع من التحليل، على الرغم من استمرار الأبحاث في مجال التعلّم المعزز القابل للتحقق. وتكتسب المناهج الهجينة، التي تُدمج فيها طبقة أمان قائمة على القواعد مع سياسة مُتعلّمة، شعبيةً متزايدة كحل وسط.
تتفوق أساليب تدرج السياسة دائمًا على الأنظمة القائمة على القواعد.
في مهام التحكم الصناعي المحددة بدقة، غالبًا ما يُضاهي أو يتفوق جهاز التحكم القائم على القواعد والمُعدّ بشكل صحيح على السياسة المُتعلمة، مع استخدام جزء بسيط من موارد الحوسبة. تتألق الأساليب المُتعلمة في المجالات التي يكون فيها كتابة القواعد يدويًا أمرًا غير عملي، وليس في كل مشكلة.
أصبحت الأنظمة القائمة على القواعد قديمة الطراز في مجال الذكاء الاصطناعي الحديث.
لا تزال الأنظمة القائمة على القواعد تشكل العمود الفقري للبنية التحتية الحيوية للسلامة، بدءًا من أنظمة الطيار الآلي للطائرات وصولًا إلى مضخات التسريب الطبية. وغالبًا ما يتم دمجها مع مكونات مُتعلمة في بنى هجينة بدلًا من استبدالها بالكامل.
بمجرد تدريب وكيل تدرج السياسة، يصبح "جاهزًا" ولا يحتاج أبدًا إلى تحديثات.
قد يؤدي تغير توزيع البيانات، وانحراف أجهزة الاستشعار، وتغير البيئات إلى تراجع أداء السياسة المدربة. ولذلك، تتضمن العديد من الأنظمة المُطبقة التعلم المستمر أو إعادة التدريب الدوري للحفاظ على فعاليتها.
لا تستطيع الأنظمة القائمة على القواعد التعامل مع عدم اليقين.
لقد تعاملت وحدات التحكم المنطقية الضبابية وأنظمة القواعد الاحتمالية مع عدم اليقين لعقود من الزمن. وهي تستخدم دوال الانتماء وعتبات الثقة بدلاً من الشروط المنطقية الواضحة للاستدلال على المدخلات المشوشة.
تتقارب طرق تدرج السياسة دائمًا إلى السياسة المثلى.
لا توجد ضمانات التقارب إلا في ظل افتراضات مقيدة. عمليًا، غالبًا ما تستقر السياسات عند الحلول المثلى المحلية، ويؤثر تصميم دالة المكافأة بشكل كبير على معنى "الأمثل" نفسه.
اختر تحسين السياسات القائم على التدرج عندما تكون البيئة معقدة للغاية بحيث يصعب برمجتها يدويًا، أو عندما يتوفر لديك كم هائل من بيانات المحاكاة أو التفاعل، وعندما يكون الأداء الأمثل أهم من سهولة التفسير. اختر أنظمة التحكم القائمة على القواعد عندما تكون شهادة السلامة مطلوبة، أو عندما تكون المشكلة مفهومة جيدًا، أو عندما تحتاج إلى حل عملي فوري دون الحاجة إلى بنية تحتية للتدريب.
يُحسّن كلٌّ من RAG ونماذج LLM المُحسّنة جودة مخرجات الذكاء الاصطناعي، لكنهما يعملان بطرق مختلفة تمامًا. يستخلص RAG المعلومات الخارجية عند الاستعلام، بينما يُدمج التحسين المعرفة الجديدة مباشرةً في أوزان النموذج. ويعتمد الاختيار بينهما على مدى تكرار تغيّر البيانات ومستوى الدقة المطلوب.
تُعد آليات الانتباه الذاتي ونماذج فضاء الحالة من المناهج الأساسية لنمذجة التسلسلات في الذكاء الاصطناعي الحديث. يتفوق الانتباه الذاتي في التقاط العلاقات الغنية بين الرموز، ولكنه يصبح مكلفًا مع التسلسلات الطويلة، بينما تعالج نماذج فضاء الحالة التسلسلات بكفاءة أكبر مع التوسع الخطي، مما يجعلها جذابة للتطبيقات ذات السياق الطويل والتطبيقات الآنية.
تُعدّ آليات الانتباه أساسية في الذكاء الاصطناعي الحديث، سواءً في مجال رؤية الحاسوب أو معالجة اللغة الطبيعية، إلا أنها تخدم أغراضًا مختلفة وتطورت عبر مسارات متباينة. يساعد الانتباه في مجال الرؤية النماذج على التركيز على مناطق الصورة ذات الصلة، بينما يُمكّن الانتباه في معالجة اللغة الطبيعية من فهم العلاقات بين الكلمات في النصوص.
تجمع أساليب الممثل-الناقد بين تدرجات السياسة ودالة القيمة المُتعلمة لتقليل التباين وتسريع عملية التعلم، بينما تعتمد أساليب تدرج السياسة البحتة كليًا على السياسة وعوائد مونت كارلو. ويعتمد الاختيار بينهما على ما إذا كنت بحاجة إلى الاستقرار وكفاءة العينة أم إلى البساطة والتقديرات غير المتحيزة.
تُفصّل هذه المقارنة الاختلافات الهيكلية الأساسية، وحالات الاستخدام العملية، والمفاضلات في الأداء بين تعلّم الرسم البياني الزمني ونمذجة التسلسل التقليدية. فبينما تُجسّد نمذجة التسلسل التطورات الخطية كالنصوص أو بيانات السلاسل الزمنية، يُعالج تعلّم الرسم البياني الزمني تفاعلات الشبكة والعلاقات المتغيرة مع الزمن في آنٍ واحد، مما يُوفر لك مخططًا شاملاً لاختيار البنية المناسبة.
