پایداری بهینهسازی در یادگیری تقویتی عمیق به تکنیکهایی اشاره دارد که آموزش را قابل اعتماد و تکرارپذیر نگه میدارند، در حالی که گرادیانهای سیاست ساده اغلب از واریانس و واگرایی بالا رنج میبرند. درک هر دو به متخصصان کمک میکند تا عواملی بسازند که بدون فروپاشی در اواسط آموزش، به طور موثر یاد بگیرند.
مجموعهای از روشها و انتخابهای طراحی که آموزش یادگیری تقویتی عمیق را به خوبی مدیریت شده و قابل تکرار نگه میدارد.
حالت شکست مستند الگوریتمهای سبک REINFORCE معمولی هنگام اعمال بر سیاستهای عصبی با ابعاد بالا.
| ویژگی | پایداری بهینهسازی در یادگیری تقویتی عمیق | بیثباتی در شیبهای سیاستگذاری سادهلوحانه |
|---|---|---|
| ایده اصلی | بهروزرسانیها را محدود و منظم کنید تا آموزش عمیق یادگیری تقویتی پایدار بماند | اعمال شیب صعودی خام روی بازگشت مورد انتظار بدون محافظ |
| واریانس گرادیان | کاهش از طریق خطوط پایه، نرمالسازی و مناطق قابل اعتماد | زیاد است و با طول قسمت و ابعاد اکشن افزایش مییابد |
| کارایی نمونه | عموماً به دلیل اهداف خارج از سیاست یا محدود شده، بسیار بالاتر است | کم؛ اغلب برای پیشرفت معنادار به میلیونها قسمت نیاز دارد |
| حساسیت به ابرپارامترها | متوسط؛ روشهایی مانند PPO به بخشش معروف هستند. | بسیار بالا؛ تغییرات کوچک در نرخ یادگیری میتواند آموزش را به طور کامل مختل کند. |
| الگوریتمهای رایج | PPO، TRPO، SAC، TD3 و دیگر روشهای مدرن نقد بازیگر | پیادهسازیهای گرادیان سیاست پایه، بازیگر-منتقد معمولی و REINFORCE |
| حالت خرابی معمول | اگر منظمسازی خیلی ضعیف باشد، گاهی اوقات شاهد افت آنتروپی یا ثابت ماندن آن هستیم. | واگرایی سیاستها، هک پاداشی یا شکست کامل در یادگیری |
| استفاده از خطوط مبنا و منتقدان | رویه استاندارد؛ شبکههای ارزش یا مبانی آموختهشده، محوری هستند | اغلب حذف میشود، که واریانس تخمین گرادیان را افزایش میدهد. |
| تکرارپذیری | از طریق سیدینگ، نرمالسازی و بهروزرسانیهای محدود بهبود یافته است | ضعیف؛ بذرهای مختلف میتوانند منحنیهای یادگیری بسیار متفاوتی ایجاد کنند |
گرادیانهای سیاست ساده، بازده مورد انتظار را با نمونهبرداری از مسیرهای کامل و ضرب لگاریتم احتمالات در بازدههای خام تخمین میزنند. از آنجا که بازدهها مجموع نویزی از پاداشها هستند، تخمین گرادیان حاصل واریانس بالایی دارد که با افق زمانی رشد میکند. روشهای بهینهسازی پایدار با کم کردن یک خط پایه از مقدار آموختهشده، نرمالسازی مزایا در یک دسته و محدود کردن یا محدود کردن بزرگی هر بهروزرسانی، مستقیماً به این مشکل حمله میکنند.
در یک چیدمان ساده، یک گام گرادیان بزرگ میتواند سیاست را از توزیع دادهها دور کند، و باعث شود که پیادهسازیهای آینده غیرنماینده باشند و فرضیات قضیه گرادیان سیاست را نقض کنند. روشهای پایدار مانند TRPO یک حد واگرایی KL بین سیاست قدیمی و جدید اعمال میکنند، در حالی که PPO از یک هدف جایگزین کوتاهشده استفاده میکند که بهروزرسانیهای بیش از حد تهاجمی را منصرف میکند. هر دو، سیاست را نزدیک به جایی که واقعاً آزمایش شده است، نگه میدارند.
از آنجا که گرادیانهای سیاست ساده، نمونهها را در بهروزرسانیهای با واریانس بالا هدر میدهند، اغلب برای رسیدن به عملکرد مشابه به تعاملات محیطی چند برابر بیشتر نیاز دارند. روشهای پایدار از طریق نمونهگیری اهمیت، بافرهای بازپخش یا مناطق اعتماد، دادهها را به طور مؤثرتری دوباره استفاده میکنند، که به آموزش سریعتر در کارهای دنیای واقعی مانند دستکاری رباتیک که جمعآوری دادهها گران است، منجر میشود.
گرادیانهای سیاست معمولی به شدت شکننده هستند: نرخ یادگیری، ضریب تخفیف یا مقیاس پاداش اشتباه میتواند باعث فروپاشی بیصدای آموزش شود. چارچوبهای بهینهسازی پایدار، ابرپارامترهایی را معرفی میکنند که استدلال در مورد آنها آسانتر است، مانند یک اپسیلون برش یا KL هدف، و تمایل دارند در بین دانهها بخشندهتر باشند. این استحکام یکی از دلایلی است که PPO به الگوریتم پیشفرض در بسیاری از پروژههای RL کاربردی تبدیل شده است.
وقتی محققان نتایج را گزارش میدهند، روشهای پایدار فواصل اطمینان فشردهتری را در بین سیدهای تصادفی ایجاد میکنند و تشخیص بهبود واقعی از نویز را آسانتر میکنند. در مقابل، گرادیانهای سیاست سادهلوحانه میتوانند نشان دهند که یک سید در حال حل یک وظیفه است در حالی که دیگری کاملاً شکست میخورد، که این امر معیارسنجی را غیرقابل اعتماد میکند. برای سیستمهای تولیدی، این شکاف تکرارپذیری اغلب بیش از اوج عملکرد اهمیت دارد.
گرادیانهای سیاست ساده، بدون تورش هستند، بنابراین باید به خوبی روشهای پایدار با توجه به نمونههای کافی همگرا شوند.
بیطرفی فقط زمانی برقرار است که توزیع سیاست بین بهروزرسانیها خیلی سریع تغییر نکند. در عمل، تغییرات بزرگ پارامتر، فرض سیاست را نقض میکند و گرادیانهای حاصل دیگر هدف واقعی را منعکس نمیکنند، به همین دلیل است که روشهای ساده اغلب مدتها قبل از همگرایی، متوقف یا واگرا میشوند.
اضافه کردن یک خط پایه به REINFORCE به طور کامل ناپایداری آن را برطرف میکند.
یک مبنای مقداری، واریانس را کاهش میدهد اما به مسئله اصلی تغییرات بزرگ سیاست در هر بهروزرسانی نمیپردازد. بدون مناطق اعتماد، برش یا نرمالسازی مزیت، سیاست همچنان میتواند در یک مرحله به اندازه کافی تغییر کند تا نمونههای آینده را نامعتبر کند.
روشهای بهینهسازی پایدار مانند PPO همیشه بهترین سیاست ممکن را پیدا میکنند.
پایداری مربوط به قابلیت اطمینان است، نه بهینه بودن. PPO و TRPO هنوز هم میتوانند در بهینه محلی گیر کنند یا کمتر از حد کاوش کنند، به خصوص در محیطهای با پاداش کم که در آنها پاداشهای کاوش یا یادگیری برنامه درسی نیز مورد نیاز است.
اگر یک گرادیان سیاست ساده روی CartPole کار کند، به کارهای پیچیدهتر نیز تعمیم داده خواهد شد.
CartPole فضای حالت کوچکی، اپیزودهای کوتاه و مجموعه اقدامات کوچکی دارد که مسائل واریانس و اکتشاف را که بر وظایف سختتر غالب هستند، میپوشاند. مقیاسپذیری برای حرکت، دستکاری یا بازیها معمولاً به تکنیکهای تثبیتکنندهای نیاز دارد که گرادیانهای ساده فاقد آن هستند.
ناپایداری عمیق RL عمدتاً یک مشکل سختافزاری یا دقت عددی است.
خطاهای ممیز شناور مهم هستند، اما منبع اصلی بیثباتی، الگوریتمی است: گرادیانهای با واریانس بالا، دادههای خارج از سیاست و بهروزرسانیهای بدون محدودیت. اکثر ترفندهای پایداری، این علل الگوریتمی را به جای علل عددی هدف قرار میدهند.
هر زمان که سیاستهای عمیق را برای وظایف پیچیده آموزش میدهید، به خصوص زمانی که کارایی نمونه و تکرارپذیری اهمیت دارند، تکنیکهای پایداری بهینهسازی را انتخاب کنید. گرادیانهای سیاست ساده همچنان به عنوان یک ابزار آموزشی و برای مسائل ساده و کوتاهمدت که واریانس آنها قابل مدیریت است، مفید هستند، اما به ندرت انتخاب مناسبی برای کاربردهای جدی یادگیری تقویتی عمیق هستند.
LLM های مبتنی بر ابزار، مدلهای زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشینحسابها و پایگاههای داده گسترش میدهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکانپذیر میسازند. LLM های مستقل صرفاً به پارامترهای آموزشدیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از دادههای آموزشی میکنند.
LLM های متن باز، مدلهای هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه میدهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه میدهند.
RAG و LLM های تنظیمشده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود میبخشند، اما به روشهای اساساً متفاوتی عمل میکنند. RAG اطلاعات خارجی را در زمان پرسوجو دریافت میکند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزنهای مدل قرار میدهد. انتخاب بین آنها بستگی به این دارد که دادههای شما چند وقت یکبار تغییر میکنند و به چه نوع دقتی نیاز دارید.
RAG با زمینه بصری، مدلهای زبانی را با بازیابی تصاویر، نمودارها و دیاگرامها در کنار متن غنی میکند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی سادهتر، سریعتر و ارزانتر برای استقرار باقی میماند.
RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنیتر با هم پردازش میکند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا دادهها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.
