PPO یک روش یادگیری تقویتی گرادیان سیاستی است که به دلیل پایداری و مقیاسپذیری ارزشمند است، در حالی که Q-Learning یک رویکرد مبتنی بر ارزش است که توابع عمل-مقدار را یاد میگیرد. هر دو عاملها را از طریق آزمون و خطا آموزش میدهند، اما اساساً در نحوه نمایش دانش و بهروزرسانی رفتار متفاوت هستند.
یک الگوریتم یادگیری تقویتی گرادیان سیاست که سیاستها را از طریق توابع هدف برش داده شده برای آموزش پایدار بهروزرسانی میکند.
یک رویکرد یادگیری تقویتی مبتنی بر ارزش که پاداش مورد انتظار برای انجام اقدامات در حالتهای داده شده را تخمین میزند.
| ویژگی | بهینهسازی سیاست پروگزیمال (PPO) | الگوریتمهای یادگیری Q |
|---|---|---|
| نوع الگوریتم | گرادیان سیاست (روی سیاست) | مبتنی بر ارزش (خارج از سیاست) |
| سال معرفی | ۲۰۱۷ (اوپنایآی) | ۱۹۸۹ (واتکینز) |
| هدف اصلی یادگیری | نگاشت تابع سیاست به اقدامات | تابع Q-value که کیفیت عمل را تخمین میزند |
| پشتیبانی فضای اقدام | پیوسته و گسسته | عمدتاً گسسته (برای حالت پیوسته نیز بسطهایی وجود دارد) |
| کارایی نمونه | متوسط (نیاز به دادههای جدید در هر بهروزرسانی) | بالاتر (از بافر بازپخش تجربه دوباره استفاده میکند) |
| پایداری تمرین | بالا (شیشه عدسی برش خورده از ریزش جلوگیری میکند) | پایینتر (مستعد سوگیری بیشبرآورد) |
| استراتژی اکتشاف | سیاست تصادفی با پاداش آنتروپی | اکتشاف اپسیلون-حریصانه یا بولتزمن |
| موارد استفاده رایج | رباتیک، ترازبندی LLM، کنترل پیوسته | بازی کردن، وظایف تصمیمگیری گسسته، ناوبری |
| انواع کلیدی | PPO با برش، PPO با جریمه تطبیقی KL | DQN، DQN دوگانه، DQN دوئل، رنگین کمان |
PPO با یادگیری یک سیاست پارامتری که احتمالات عمل را با توجه به یک حالت خروجی میدهد، رویکرد مستقیمی را اتخاذ میکند. این رویکرد این سیاست را با استفاده از شیب صعودی روی پاداشهای مورد انتظار بهینه میکند. Q-Learning با تخمین میزان خوب بودن هر عمل در هر حالت، مسیری غیرمستقیم را در پیش میگیرد و سپس رفتار را از آن تخمینها استخراج میکند. این تقسیمبندی فلسفی همه چیز را از الزامات داده گرفته تا عملکرد نهایی شکل میدهد.
یکی از بزرگترین نقاط قوت PPO، تابع هدف برش خورده آن است که میزان تغییر سیاست را در یک بهروزرسانی واحد محدود میکند. این امر آموزش را حتی در وظایف پر سر و صدا به طور قابل توجهی پایدار میکند. Q-Learning، به ویژه در انواع عمیق آن، میتواند به دلیل سوگیری تخمین بیش از حد و مشکل هدف متحرک، از بیثباتی رنج ببرد. تکنیکهایی مانند شبکههای هدف و Q-Learning دوگانه کمک میکنند، اما PPO معمولاً برای همگرایی قابل اعتماد به تنظیم ابرپارامتر کمتری نیاز دارد.
Q-Learning معمولاً در کارایی نمونه برنده میشود زیرا میتواند تجربیات را در یک بافر بازپخش ذخیره کند و چندین بار از آنها یاد بگیرد. PPO یک سیاست فعال است، به این معنی که معمولاً دادهها را پس از هر چرخه بهروزرسانی دور میریزد، به این معنی که تعاملات محیطی بیشتری مورد نیاز است. در محیطهای شبیهسازی شده که تولید داده ارزان است، این موضوع به ندرت اهمیت دارد. با این حال، در رباتیک دنیای واقعی یا شبیهسازیهای گرانقیمت، استفاده مجدد Q-Learning از دادههای گذشته میتواند یک مزیت عمده باشد.
PPO به طور طبیعی فضاهای عمل پیوسته را مدیریت میکند زیرا یک توزیع احتمال روی اعمال، اغلب یک تابع گاوسی، تولید میکند. Q-Learning در ابتدا برای اعمال گسسته طراحی شده بود، که در آن میتوانید به سادگی مقدار Q را برای هر گزینه جستجو کنید. افزونههایی مانند تابع مزیت نرمالشده (NAF) یا Q-Learning توزیعی وجود دارند، اما PPO همچنان انتخاب رایجتری برای مسائل کنترل پیوسته مانند دستکاری رباتیک است.
PPO از طریق سیاستهای تصادفی و پاداشهای آنتروپی که از همگرایی زودرس به رفتار قطعی جلوگیری میکنند، اکتشاف را تشویق میکند. Q-Learning به قوانین اکتشاف صریح مانند epsilon-greedy متکی است، که در آن عامل اقدامات تصادفی را با مقداری احتمال انتخاب میکند. رویکرد PPO تمایل دارد که در فضاهای عملی با ابعاد بالا بهتر مقیاسبندی شود، در حالی که کاوش سادهتر Q-Learning در محیطهای گسسته با تعداد اقدامات قابل مدیریت به خوبی کار میکند.
PPO به انتخاب پیشفرض بسیاری از سیستمهای تولیدی، از جمله یادگیری تقویتی از بازخورد انسانی (RLHF) که برای آموزش مدلهای زبانی بزرگ استفاده میشود، تبدیل شده است. Q-Learning و انواع عمیق آن همچنان در بنچمارکهای بازی و وظایف تصمیمگیری گسسته غالب هستند. هر دو الگوریتم دارای اکوسیستمهای غنی از پیادهسازی هستند، به طوری که PPO در کتابخانههایی مانند Stable Baselines3 و RLlib و انواع Q-Learning تقریباً در هر چارچوب RL موجود است.
PPO و Q-Learning الگوریتمهای قابل جایگزینی هستند که مسائل یکسانی را حل میکنند.
آنها رویکردهای اساساً متفاوتی را برای یادگیری تقویتی ارائه میدهند. PPO مستقیماً یک سیاست را بهینه میکند، در حالی که Q-Learning مقادیر عمل را تخمین میزند. هر کدام در سناریوهای مختلف برتری دارند و انتخاب بین آنها به فضای عمل، در دسترس بودن دادهها و الزامات پایداری شما بستگی دارد.
Q-Learning منسوخ شده و الگوریتمهای جدیدتری جایگزین آن شدهاند.
Q-Learning همچنان بسیار مرتبط است، به خصوص از طریق افزونههای یادگیری عمیق خود مانند DQN و Rainbow. این گونهها همچنان به دستیابی به نتایج پیشرفته در بسیاری از معیارها ادامه میدهند و پایه مفهومی روشهای جدیدتر را تشکیل میدهند.
PPO همیشه از Q-Learning بهتر عمل میکند، چون جدیدتر است.
جدیدتر بودن به معنای بهتر بودن مطلق نیست. PPO در کنترل مداوم و آموزش در مقیاس بزرگ برتری دارد، اما Q-Learning میتواند در محیطهای گسسته با دادههای محدود از آن پیشی بگیرد. عملکرد به شدت به مسئله خاص و جزئیات پیادهسازی بستگی دارد.
Q-Learning نمیتواند با فضاهای عمل پیوسته کار کند.
در حالی که Q-Learning استاندارد برای اقدامات گسسته طراحی شده است، چندین افزونه مانند NAF، Q-Learning توزیعی و رویکردهای تعبیه عمل، کنترل مداوم را امکانپذیر میکنند. با این حال، این روشها نسبت به روشهای گرادیان سیاست برای وظایف مداوم کمتر رایج هستند.
PPO برای عملکرد خوب نیازی به تنظیم هیچ ابرپارامتری ندارد.
PPO نسبت به بسیاری از الگوریتمها بخشندهتر است، اما همچنان نیاز به تنظیم دقیق پارامتر برش، نرخ یادگیری و ضریب آنتروپی دارد. انتخابهای ضعیف میتواند منجر به همگرایی کند یا سیاستهای غیربهینه شود.
هنگام کار با کنترل مداوم، رباتیک یا آموزش سیاست در مقیاس بزرگ که در آن ثبات بیشترین اهمیت را دارد، PPO را انتخاب کنید. برای فضاهای عمل گسسته، سناریوهای با نمونه محدود یا زمانی که نیاز به استفاده از بازپخش تجربه دارید، Q-Learning را انتخاب کنید. هر دو الگوریتمهای بنیادی باقی میمانند و درک بده بستانهای آنها به شما کمک میکند تا ابزار مناسب را برای چالش یادگیری تقویتی خاص خود انتخاب کنید.
LLM های مبتنی بر ابزار، مدلهای زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشینحسابها و پایگاههای داده گسترش میدهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکانپذیر میسازند. LLM های مستقل صرفاً به پارامترهای آموزشدیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از دادههای آموزشی میکنند.
LLM های متن باز، مدلهای هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه میدهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه میدهند.
RAG و LLM های تنظیمشده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود میبخشند، اما به روشهای اساساً متفاوتی عمل میکنند. RAG اطلاعات خارجی را در زمان پرسوجو دریافت میکند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزنهای مدل قرار میدهد. انتخاب بین آنها بستگی به این دارد که دادههای شما چند وقت یکبار تغییر میکنند و به چه نوع دقتی نیاز دارید.
RAG با زمینه بصری، مدلهای زبانی را با بازیابی تصاویر، نمودارها و دیاگرامها در کنار متن غنی میکند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی سادهتر، سریعتر و ارزانتر برای استقرار باقی میماند.
RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنیتر با هم پردازش میکند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا دادهها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.
