بهینهسازی سیاست پروگزیمال، توابع هدف برشیافته و تفکر ناحیه اعتماد را به یادگیری تقویتی میآورد و نوساناتی را که رویکردهای گرادیان سیاست معمولی را مختل میکند، به طرز چشمگیری کاهش میدهد. در حالی که روشهای سنتی مانند REINFORCE و الگوریتمهای استاندارد بازیگر-منتقد میتوانند در اواسط آموزش از هم جدا شوند یا از بین بروند، طراحی PPO بهروزرسانیها را محدود و در طول اجراها قابل تکرار نگه میدارد.
یک هدف جایگزینِ کوتاهشده که بهروزرسانیهای سیاست را در محدودهی امنی نگه میدارد و از مراحل یادگیری مخرب جلوگیری میکند.
الگوریتمهای یادگیری تقویتی کلاسیک که سیاستها را مستقیماً در امتداد گرادیان بازده مورد انتظار بهروزرسانی میکنند، اغلب منحنیهای یادگیری نامنظمی تولید میکنند.
| ویژگی | آموزش پایدار در PPO | روشهای گرادیان سیاست ناپایدار |
|---|---|---|
| مکانیسم بهروزرسانی | هدف جایگزین کوتاهشده با نسبت احتمال محدود نزدیک به ۱.۰ | صعود گرادیان خام در بازده مورد انتظار بدون محدودیت بهروزرسانی قطعی |
| پایداری تمرین | بالا - از گامهای بد بهبود مییابد و به ندرت از مسیر خود منحرف میشود | کم - حساس به نرخ یادگیری و مقیاس پاداش، مستعد فروپاشی |
| کارایی نمونه | متوسط؛ از چندین دوره SGD مینیبچ در هر انتشار استفاده میکند | اغلب ضعیف است، مگر اینکه با خطوط پایه یا ترفندهای کاهش واریانس همراه شود |
| پیچیدگی پیادهسازی | ساده - تقریباً همان ردپای کد مانند گرادیان سیاست وانیلی | در شکل اولیه ساده است، اما تثبیت آن نیاز به مهندسی اضافی دارد |
| حساسیت هایپرپارامتر | نسبتاً در طیف وسیعی از نسبتهای کلیپ و نرخ یادگیری، بخشنده است | بسیار حساس؛ تغییرات کوچک میتواند آموزش را به طور کامل مختل کند |
| مدیریت واریانس | برش داخلی به عنوان یک کاهنده واریانس ضمنی عمل میکند | به تکنیکهای جداگانهای مانند خطوط پایه، GAE یا نرمالسازی مزیت نیاز دارد |
| عملکرد ساعت دیواری | به دلیل بهینهسازی مرتبه اول، روی سختافزارهای مدرن سریع است | در هر مرحله قابل مقایسه است، اما بیثباتی اغلب در اجراهای ناموفق، زمان را هدر میدهد. |
| موارد استفاده رایج | RLHF برای مدلهای زبانی، رباتیک، بازی، کنترل پیوسته | تحلیل نظری، محیطهای ساده، آموزش، یادگیری تقویتی |
ایده اصلی PPO این است که بهروزرسانیهای سیاست باید کوچک و برگشتپذیر باشند. با کاهش نسبت احتمال بین سیاستهای جدید و قدیمی، الگوریتم از برداشتن گامی توسط بهینهساز که باعث تغییر شدید رفتار در یک تکرار میشود، جلوگیری میکند. روشهای گرادیان سیاست ناپایدار رویکرد مخالف را اتخاذ میکنند: آنها از گرادیان خام بازده مورد انتظار پیروی میکنند و به این اعتماد دارند که یک نرخ یادگیری تنظیمشده، همه چیز را کنترل میکند. در عمل، این اعتماد اغلب نابجا است.
یک اجرای PPO معمولاً یک منحنی یادگیری پر سر و صدا اما به طور یکنواخت در حال بهبود را نشان میدهد، با افتهای گاه به گاه که در عرض چند تکرار بهبود مییابند. در مقابل، شیبهای سیاست معمولی میتوانند برای هزاران مرحله ثابت بمانند و سپس ناگهان هنگامی که یک مسیر نادر با پاداش بالا پارامترها را به یک منطقه بد سوق میدهد، سقوط کنند. هدف محدود شده در PPO مانند یک ترمز ایمنی عمل میکند و تأثیر هر دسته از تجربه را محدود میکند.
برای اینکه گرادیانهای سیاست معمولی به طور قابل اعتمادی کار کنند، اغلب به معنای تنظیم دستی نرخ یادگیری، عوامل تخفیف، پاداشهای آنتروپی و آستانههای برش گرادیان است. PPO بخش زیادی از این مهندسی را در یک هایپرپارامتر کلیپ واحد، که معمولاً حدود 0.1 تا 0.3 تنظیم میشود، ادغام میکند که در طیف وسیعی از وظایف مقاوم است. برای تیمهایی که سیستمهای RL تولیدی را ارسال میکنند، این کاهش بار تنظیم مستقیماً به چرخههای تکرار سریعتر تبدیل میشود.
PPO از هر اجرای اولیه برای چندین دوره بهروزرسانیهای کوچک استفاده مجدد میکند، که باعث بهبود کارایی نمونه در مقایسه با روشهای صرفاً مبتنی بر سیاست مانند REINFORCE میشود. با این حال، این استفاده مجدد همچنین دلیل اهمیت برش است: بدون آن، الگوریتم روی مسیرهای قدیمی بیشبرازش پیدا میکند. روشهای گرادیان سیاست ناپایدار معمولاً یک بار در هر اجرا اجرا میشوند، که باعث میشود آنها از نظر نمونه کارآمدتر نباشند، اما همچنین کمتر مستعد آن حالت خرابی خاص هستند.
PPO به انتخاب بالفعل برای یادگیری تقویتی کاربردی تبدیل شده است و سیستمها را از عاملهای Dota 5v5 شرکت OpenAI گرفته تا خطوط لوله RLHF پشت ChatGPT و سایر چتباتهای مدرن، تقویت میکند. روشهای گرادیان سیاست معمولی همچنان به عنوان ابزارهای آموزشی و به عنوان پایه در مقالات تحقیقاتی ارزشمند هستند، اما به ندرت در سیستمهای تولیدی که قابلیت اطمینان اهمیت دارد، ظاهر میشوند. تغییر به سمت PPO نشان دهنده روند گستردهتری در یادگیری ماشین به سمت روشهایی است که خارج از چارچوب کار میکنند.
PPO فقط یک نسخه فانتزی از REINFORCE است که هیچ توجیه نظری واقعی ندارد.
PPO بر اساس ایده ناحیه اعتماد از TRPO ساخته شده است، اما بهینهسازی مقید را با یک جایگزین برش خورده مرتبه اول جایگزین میکند. این برش، تقریب عملی از قید ناحیه اعتماد را ارائه میدهد، به همین دلیل است که با وجود سادهتر بودن پیادهسازی، از نظر تجربی بسیار خوب عمل میکند.
اگر از نرخ یادگیری به اندازه کافی کوچک استفاده کنید، گرادیانهای سیاست معمولی همیشه همگرا میشوند.
نرخ یادگیری پایین، واگرایی را کند میکند اما آن را از بین نمیبرد. مسیرهای بد همچنان میتوانند سیاست را به سمت مناطق انحطاط سوق دهند و واریانس بالای بازدههای مونت کارلو به این معنی است که بهروزرسانیهای مؤثر بزرگ گاه به گاه اساساً بدون محدودیتهای صریح اجتنابناپذیر هستند.
PPO را نمیتوان برای وظایف کنترلی پیوسته استفاده کرد.
PPO در معیارهای کنترل پیوسته مانند حرکت MuJoCo و دستکاری رباتیک بسیار خوب عمل میکند. هدف برش خورده مستقل از فضای عمل است و PPO با سیاستهای گاوسی، یک مبنای قوی برای مسائلی از راه رفتن چهار دست و پا گرفته تا دستکاری ماهرانه دست باقی میماند.
شیبهای سیاستی ناپایدار منسوخ شدهاند و دیگر در تحقیقات استفاده نمیشوند.
گرادیانهای سیاست معمولی همچنان در تحقیقات یادگیری تقویتی اساسی هستند. آنها تقریباً در هر مقاله الگوریتم جدید به عنوان خط مبنا ظاهر میشوند، و انواعی مانند گرادیانهای سیاست طبیعی هنوز هم کارهای مدرن روی مناطق اعتماد و بهینهسازی مقید را شکل میدهند.
PPO بهبود یکنواخت را در هر دوره تمرینی تضمین میکند.
PPO پایداری را به طرز چشمگیری بهبود میبخشد اما پیشرفت یکنواخت را تضمین نمیکند. منحنیهای یادگیری هنوز حاوی نویز هستند و توابع پاداش پاتولوژیک یا سیگنالهای بسیار پراکنده هنوز هم میتوانند باعث شکست شوند. پایداری به معنای فروپاشیهای فاجعهبار کمتر است، نه شکستهای صفر.
زمانی که به یک الگوریتم یادگیری تقویتی قابل اعتماد و همه منظوره نیاز دارید که در محیطهای متنوع و بدون تنظیمات گسترده کار کند، PPO را انتخاب کنید. در درجه اول برای اهداف آموزشی، تحلیل نظری یا زمانی که به طور خاص میخواهید حالتهای خرابی را که PPO برای حذف آنها طراحی شده است، مطالعه کنید، به سراغ روشهای گرادیان سیاست معمولی بروید.
LLM های مبتنی بر ابزار، مدلهای زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشینحسابها و پایگاههای داده گسترش میدهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکانپذیر میسازند. LLM های مستقل صرفاً به پارامترهای آموزشدیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از دادههای آموزشی میکنند.
LLM های متن باز، مدلهای هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه میدهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه میدهند.
RAG و LLM های تنظیمشده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود میبخشند، اما به روشهای اساساً متفاوتی عمل میکنند. RAG اطلاعات خارجی را در زمان پرسوجو دریافت میکند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزنهای مدل قرار میدهد. انتخاب بین آنها بستگی به این دارد که دادههای شما چند وقت یکبار تغییر میکنند و به چه نوع دقتی نیاز دارید.
RAG با زمینه بصری، مدلهای زبانی را با بازیابی تصاویر، نمودارها و دیاگرامها در کنار متن غنی میکند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی سادهتر، سریعتر و ارزانتر برای استقرار باقی میماند.
RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنیتر با هم پردازش میکند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا دادهها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.
