روشهای بازیگر-منتقد، گرادیانهای سیاستی را با یک تابع ارزش آموختهشده ترکیب میکنند تا واریانس را کاهش داده و یادگیری را سرعت بخشند، در حالی که روشهای گرادیان سیاستی محض صرفاً بر بازده سیاستی و مونت کارلو متکی هستند. انتخاب بین آنها بستگی به این دارد که آیا به ثبات و کارایی نمونه نیاز دارید یا سادگی و تخمینهای بیطرفانه.
الگوریتمهای یادگیری تقویتی ترکیبی که یک شبکه سیاست (عامل) را با یک شبکه تخمین ارزش (نقاد) برای آموزش پایدارتر جفت میکنند.
الگوریتمهای یادگیری تقویتی که مستقیماً یک سیاست پارامتری را با استفاده از صعود گرادیان روی بازده مورد انتظار، بدون یک مدل ارزش جداگانه، بهینه میکنند.
| ویژگی | روشهای بازیگر-منتقد | روشهای گرادیان سیاست خالص |
|---|---|---|
| مکانیسم اصلی | یک شبکه سیاستگذاری (بازیگر) را با یک شبکه ارزش (منتقد) ترکیب میکند. | سیاست را مستقیماً با استفاده از بازدههای نمونهبرداری شده بهینه میکند |
| واریانس تخمینهای گرادیان | واریانس کمتر به دلیل پایه آموخته شده | واریانس بالاتر از بازدههای مونت کارلو |
| تعصب | جانبداری جزئی ناشی از تقریب منتقد | تخمینهای گرادیان بیاریب |
| کارایی نمونه | عموماً بالاتر، از طریق بوتاسترپ، دادهها را دوباره استفاده میکند | پایینتر، به قسمتهای کامل یا نمونههای زیادی نیاز دارد |
| پیچیدگی پیادهسازی | پیچیدهتر، نیاز به آموزش دو شبکه دارد | سادهتر، فقط یک شبکه برای مدیریت |
| پایداری آموزش | به لطف واریانس کمتر و مناطق قابل اعتماد، پایدارتر است | پایداری کمتری دارد، نسبت به نرخ یادگیری و مقیاس پاداش حساس است |
| مدیریت اکتشاف | میتواند شامل پاداشهای آنتروپی یا منتقدان تصادفی باشد | طبیعتاً تصادفی، آسان برای تشویق به اکتشاف |
| موارد استفاده معمول | یادگیری تقویتی در مقیاس بزرگ، رباتیک، RLHF برای مدلهای زبانی | وظایف کنترلی ساده، خطوط پایه تحقیق، مسائل اپیزودیک |
بزرگترین تفاوت عملی بین این دو خانواده به نحوه تخمین جهت بهبود برمیگردد. روشهای گرادیان سیاست خالص به بازدههای مونت کارلو جمعآوریشده از کل اپیزودها متکی هستند که سیگنالی بیطرفانه ارائه میدهند، اما سیگنالی که بسته به شانس هر اجرای واحد، به شدت نوسان میکند. روشهای بازیگر-منتقد، آن بازده نویزدار را با یک تابع ارزش آموختهشده جایگزین میکنند و به طور مؤثر یک خط پایه را که نتیجه مورد انتظار را در بر میگیرد، کم میکنند. نتیجه، گرادیان واریانس بسیار پایینتری است که به آموزش اجازه میدهد روانتر پیش برود، به خصوص در محیطهایی که پاداشها پراکنده یا با تأخیر هستند.
جایگزینی واریانس با بایاس، مصالحه اصلی در طراحی بازیگر-منتقد است. خودِ منتقد یک تقریب است، بنابراین تخمینهای آن میتواند اشتباه باشد و این خطا در بهروزرسانی سیاست رخ میدهد. روشهای گرادیان سیاست خالص کاملاً از این امر اجتناب میکنند زیرا هرگز تابع ارزش را تقریب نمیزنند، اما هزینه آن خلوص را با بهروزرسانیهای پر سر و صداتر پرداخت میکنند. در عمل، الگوریتمهای بازیگر-منتقد مدرن مانند PPO و SAC این بدهبستان را چنان خوب مدیریت میکنند که بایاس کوچک به ندرت مشکلی ایجاد میکند، به همین دلیل است که آنها بر معیارها تسلط دارند.
کارایی نمونه زمانی بسیار مهم است که تعامل با محیط پرهزینه باشد، مانند رباتیک یا سیستمهای گفتگوی دنیای واقعی. روشهای بازیگر-منتقد در اینجا میدرخشند زیرا منتقد از پیشبینیهای خود بوتاسترپ میکند و به الگوریتم اجازه میدهد تا از هر انتقال چندین بار یاد بگیرد. روشهای گرادیان سیاست خالص معمولاً برای هر بهروزرسانی به دادههای تازه در مورد سیاست نیاز دارند، که به معنای تعاملات بیشتر با محیط برای همان میزان بهبود سیاست است. این یکی از دلایلی است که الگوریتمهای سبک REINFORCE در محیطهای تحقیقاتی که شبیهسازی ارزان است، رایجتر هستند.
اگر میخواهید چیزی را به سرعت نمونهسازی کنید، روشهای گرادیان سیاست خالص جذاب هستند. شما فقط به یک شبکه سیاست، یک تابع زیان ساخته شده از احتمالات لگاریتمی وزندار شده بر اساس بازگشت، و راهی برای جمعآوری مسیرها نیاز دارید. روشهای بازیگر-منتقد، بار آموزش یک شبکه دوم، متعادل کردن نرخ یادگیری آن در برابر بازیگر، و اطمینان از اینکه منتقد به اندازه کافی سریع همگرا میشود تا مفید باشد را اضافه میکنند. این پیچیدگی اضافی در عملکرد نتیجه میدهد، اما استاندارد را برای تازه واردان بالا میبرد.
هر دو رویکرد به طور طبیعی سیاستهای تصادفی را مدیریت میکنند، اما کاوش را به طور متفاوتی تشویق میکنند. روشهای گرادیان سیاست خالص، کاوش را به صورت رایگان از آنتروپی خود سیاست دریافت میکنند، که در مسائلی با توزیعهای عمل واضح به خوبی کار میکند. روشهای بازیگر-منتقد اغلب یک امتیاز آنتروپی صریح به هدف اضافه میکنند، همانطور که بازیگر-منتقد نرم معروف انجام میدهد، تا از فروپاشی زودهنگام سیاست جلوگیری کند. این امر باعث میشود انواع بازیگر-منتقد در وظایفی که در غیر این صورت عامل ممکن است در رفتارهای غیربهینه گیر کند، قویتر باشند.
روشهای منتقد-بازیگر، خانواده الگوریتمی کاملاً متفاوتی از گرادیانهای سیاست هستند.
روشهای منتقد-بازیگر در واقع زیرمجموعهای از روشهای گرادیان سیاست هستند. آنها همان گرادیان سیاست را محاسبه میکنند، اما به جای تکیه بر بازده خام، از یک تابع ارزش آموختهشده برای کاهش واریانس استفاده میکنند.
روشهای گرادیان سیاست خالص همیشه سریعتر همگرا میشوند زیرا بیطرف هستند.
بیطرفی به معنای همگرایی سریع نیست. واریانس بالای تخمینهای مونت کارلو اغلب آموزش را به طرز چشمگیری کند میکند، به خصوص در وظایف بلندمدت که در آنها پاداشها با تأخیر مواجه میشوند.
روشهای بازیگر-منتقد نمیتوانند با فضاهای کنش پیوسته کار کنند.
بسیاری از الگوریتمهای بازیگر-منتقد، از جمله SAC و DDPG، به طور خاص برای کنترل پیوسته طراحی شدهاند و در رباتیک و شبیهسازی مبتنی بر فیزیک بسیار خوب عمل میکنند.
برای انجام خوب یادگیری تقویتی، همیشه به یک منتقد نیاز دارید.
روشهای گرادیان سیاستی محض مانند REINFORCE و TRPO بسیاری از مشکلات را بدون وجود یک منتقد حل کردهاند. منتقد ابزاری برای کاهش واریانس است، نه یک الزام اکید.
PPO یک روش گرادیان سیاستی خالص است.
PPO از نظر فنی یک الگوریتم بازیگر-منتقد است. این الگوریتم از یک هدف جایگزین کوتاهشده در سمت سیاست استفاده میکند، اما برای محاسبه مزایا و هدایت بهروزرسانیها به یک شبکه ارزش متکی است.
وقتی به دنبال یک الگوریتم ساده و بیطرفانه برای مسائل کوتاهمدت یا به عنوان یک مبنای تحقیقاتی تمیز هستید، روشهای گرادیان سیاست خالص را انتخاب کنید. هر زمان که به کارایی نمونه، پایداری آموزش یا مقیاسپذیری در محیطهای پیچیده مانند رباتیک و تنظیم دقیق مدل زبانی بزرگ اهمیت میدهید، به سراغ روشهای بازیگر-منتقد بروید.
LLM های مبتنی بر ابزار، مدلهای زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشینحسابها و پایگاههای داده گسترش میدهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکانپذیر میسازند. LLM های مستقل صرفاً به پارامترهای آموزشدیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از دادههای آموزشی میکنند.
LLM های متن باز، مدلهای هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه میدهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه میدهند.
RAG و LLM های تنظیمشده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود میبخشند، اما به روشهای اساساً متفاوتی عمل میکنند. RAG اطلاعات خارجی را در زمان پرسوجو دریافت میکند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزنهای مدل قرار میدهد. انتخاب بین آنها بستگی به این دارد که دادههای شما چند وقت یکبار تغییر میکنند و به چه نوع دقتی نیاز دارید.
RAG با زمینه بصری، مدلهای زبانی را با بازیابی تصاویر، نمودارها و دیاگرامها در کنار متن غنی میکند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی سادهتر، سریعتر و ارزانتر برای استقرار باقی میماند.
RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنیتر با هم پردازش میکند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا دادهها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.
