Comparthing Logo
یادگیری تقویتییادگیری ماشینیهوش مصنوعیگرادیان سیاستکیو-لرنینگ

روش‌های مبتنی بر سیاست در مقابل روش‌های مبتنی بر ارزش

روش‌های مبتنی بر سیاست و مبتنی بر ارزش، دو رویکرد اساسی در یادگیری تقویتی هستند. روش‌های مبتنی بر سیاست، مستقیماً یک استراتژی انتخاب عمل را یاد می‌گیرند، در حالی که روش‌های مبتنی بر ارزش، میزان خوب بودن هر عمل را تخمین می‌زنند و رفتار را از آن تخمین‌ها استخراج می‌کنند. هر کدام نقاط قوت متمایزی دارند که برای انواع مختلف مسئله مناسب هستند.

برجسته‌ها

  • روش‌های مبتنی بر سیاست مستقیماً اقدامات را بهینه می‌کنند، در حالی که روش‌های مبتنی بر ارزش، ابتدا تخمین می‌زنند که هر اقدام چقدر خوب است.
  • فضاهای عمل پیوسته، روش‌های مبتنی بر سیاست را ترجیح می‌دهند؛ فضاهای عمل گسسته اغلب روش‌های مبتنی بر ارزش را ترجیح می‌دهند.
  • روش‌های مبتنی بر ارزش مانند DQN معمولاً به لطف تکرار تجربه، از نظر نمونه کارآمدتر هستند.
  • الگوریتم‌های بازیگر-منتقد هر دو رویکرد را ترکیب می‌کنند و بر بسیاری از معیارهای یادگیری تقویتی مدرن تسلط دارند.

روش‌های مبتنی بر سیاست چیست؟

رویکردهای یادگیری تقویتی که مستقیماً سیاست انتخاب عمل عامل را بدون نیاز به تابع ارزش بهینه می‌کنند.

  • روش‌های مبتنی بر سیاست، سیاست را مستقیماً پارامتری و بهینه می‌کنند، که معمولاً از شیب صعودی بر اساس پاداش مورد انتظار استفاده می‌کنند.
  • الگوریتم REINFORCE که توسط رونالد ویلیامز در سال ۱۹۹۲ توسعه داده شد، یکی از اولین و تأثیرگذارترین الگوریتم‌های گرادیان سیاست است.
  • این روش‌ها به طور طبیعی فضاهای عملی پیوسته و با ابعاد بالا را مدیریت می‌کنند، که برای رویکردهای مبتنی بر ارزش دشوار است.
  • گرادیان‌های سیاستی اغلب از واریانس بالایی در تخمین‌های گرادیان خود رنج می‌برند و به تکنیک‌هایی مانند خطوط مبنا و تخمین مزیت نیاز دارند.
  • آنها تمایل دارند به جای بهینه‌های سراسری، به بهینه‌های محلی همگرا شوند، زیرا روش‌های گرادیان از چشم‌انداز سیاست‌ها پیروی می‌کنند.

روش‌های مبتنی بر ارزش چیست؟

رویکردهای یادگیری تقویتی که یاد می‌گیرند حالت‌ها یا جفت‌های حالت-عمل چقدر خوب هستند، سپس از آن تخمین‌های ارزش، یک سیاست استخراج می‌کنند.

  • روش‌های مبتنی بر ارزش، یک تابع ارزش، مانند مقادیر Q، را تخمین می‌زنند و اقدامات را بر اساس آن تخمین‌ها انتخاب می‌کنند.
  • یادگیری Q توسط کریستوفر واتکینز در پایان‌نامه دکترای او در سال ۱۹۸۹ معرفی شد و همچنان یک الگوریتم بنیادی است.
  • کیو-نتورک‌های عمیق (DQN) که توسط دیپ‌مایند در سال ۲۰۱۳ منتشر شد، کیو-یادگیری را با شبکه‌های عصبی عمیق ترکیب کرد و بازی‌های آتاری را به خوبی اجرا کرد.
  • این روش‌ها معمولاً به فضاهای عمل گسسته نیاز دارند زیرا عملی را انتخاب می‌کنند که بالاترین مقدار تخمینی را دارد.
  • بازپخش تجربه و شبکه‌های هدف، ترفندهای پایداری رایجی هستند که در روش‌های مبتنی بر ارزش عمیق مورد استفاده قرار می‌گیرند.

جدول مقایسه

ویژگی روش‌های مبتنی بر سیاست روش‌های مبتنی بر ارزش
رویکرد اصلی مستقیماً سیاست را بهینه می‌کند یک تابع مقدار را یاد می‌گیرد، سپس بر اساس آن عمل می‌کند
فضای عمل با اکشن‌های پیوسته و با ابعاد بالا به خوبی کار می‌کند مناسب برای اکشن‌های گسسته و کم‌بعد
کارایی نمونه عموماً از نظر نمونه کارایی کمتری دارد، اغلب به داده‌های بیشتری نیاز دارد معمولاً از نظر نمونه‌برداری کارآمدتر است، مخصوصاً با بافرهای بازپخش
پایداری به‌روزرسانی‌های پایدار اما می‌توانند به بهینه‌سازی محلی همگرا شوند می‌تواند با تقریب تابع ناپایدار باشد، نیاز به ترفندهایی دارد
اکتشاف سیاست‌های تصادفی، اکتشاف طبیعی را ممکن می‌سازند متکی بر روش‌های اکتشافی مانند اپسیلون-حریص یا تزریق نویز است
واریانس گرادیان گرادیان واریانس بالا، نیاز به کاهش واریانس دارد بدون گرادیان سیاست، بنابراین هیچ مسئله واریانسی به همان معنا وجود ندارد
الگوریتم‌های قابل توجه تقویت، PPO، TRPO، A2C یادگیری Q، DQN، DQN دوگانه، DQN دوئلی
تضمین همگرایی تحت شرایط استاندارد به یک بهینه محلی همگرا می‌شود در تنظیمات جدولی به سیاست بهینه همگرا می‌شود

مقایسه دقیق

چگونه آنها متفاوت یاد می‌گیرند

روش‌های مبتنی بر سیاست، مسیر مستقیم‌تری را در پیش می‌گیرند: آن‌ها خود سیاست را پارامتری می‌کنند، اغلب به عنوان یک شبکه عصبی که احتمالات عمل را خروجی می‌دهد، و آن پارامترها را طوری تنظیم می‌کنند که به نفع اعمالی باشد که منجر به پاداش‌های بالاتر می‌شوند. روش‌های مبتنی بر ارزش، مسیر منظره را در پیش می‌گیرند، ابتدا تخمین می‌زنند که هر عمل در هر حالت چقدر ارزشمند است، سپس به سادگی بهترین گزینه را انتخاب می‌کنند. این تفاوت اساسی، هر چیز دیگری را در مورد نحوه رفتار دو خانواده در عمل شکل می‌دهد.

مدیریت فضاهای اقدام

وقتی فضای عمل پیوسته است، مانند کنترل یک بازوی ربات یا هدایت یک ماشین، روش‌های مبتنی بر سیاست می‌درخشند زیرا می‌توانند توزیع احتمال را در یک محدوده پیوسته خروجی دهند. روش‌های مبتنی بر ارزش در اینجا با مشکل مواجه می‌شوند زیرا هیچ راهی برای شمارش هر عمل ممکن برای یافتن حداکثر وجود ندارد. برای مسائلی با مجموعه کوچکی از اعمال گسسته، مانند بازی آتاری یا تصمیم‌گیری‌های بله یا خیر، روش‌های مبتنی بر ارزش اغلب ساده‌تر و مؤثرتر هستند.

پایداری و کارایی نمونه

روش‌های مبتنی بر ارزش مانند DQN معمولاً از نظر نمونه کارآمدتر هستند زیرا از تجربیات گذشته ذخیره شده در بافرهای بازپخش استفاده مجدد می‌کنند و از هر انتقال چندین بار یاد می‌گیرند. با این حال، وقتی با شبکه‌های عصبی عمیق ترکیب می‌شوند، می‌توانند ناپایدار باشند، به همین دلیل تکنیک‌هایی مانند شبکه‌های هدف معرفی شدند. روش‌های مبتنی بر سیاست، به‌روزرسانی روان‌تری دارند اما معمولاً برای همگرایی به نمونه‌های بیشتری نیاز دارند و تخمین‌های گرادیان آنها می‌تواند نویز داشته باشد.

استراتژی‌های اکتشاف

یکی از ویژگی‌های خوب روش‌های مبتنی بر سیاست این است که خود سیاست می‌تواند تصادفی باشد، به این معنی که عامل به طور طبیعی با نمونه‌برداری از توزیع عمل خود کاوش می‌کند. روش‌های مبتنی بر ارزش به استراتژی‌های کاوش صریح نیاز دارند، که انتخاب کلاسیک آن اپسیلون-حریصانه است، اگرچه رویکردهای پیچیده‌تری مانند شبکه‌های نویزی یا مرزهای اطمینان بالا نیز وجود دارد. این امر باعث می‌شود روش‌های مبتنی بر سیاست به ویژه در محیط‌هایی که کاوش دشوار است، جذاب باشند.

چه زمانی آنها را ترکیب کنیم

مرز بین این دو خانواده همیشه مشخص نیست. روش‌های بازیگر-منتقد، از جمله PPO و A2C، هر دو ایده را با استفاده از یک تابع ارزش (منتقد) برای هدایت به‌روزرسانی‌های سیاست (بازیگر) ترکیب می‌کنند. این رویکرد ترکیبی اغلب بهترین مزایای هر دو جهان را به دست می‌آورد: واریانس کمتر نسبت به گرادیان‌های سیاست خالص و مدیریت بهتر اقدامات پیوسته نسبت به روش‌های مبتنی بر ارزش خالص. الگوریتم‌های مدرن و پیشرفته در بسیاری از حوزه‌ها، انواع بازیگر-منتقد هستند.

مزایا و معایب

روش‌های مبتنی بر سیاست

مزایا

  • + اقدامات مداوم را مدیریت می‌کند
  • + اکتشافات طبیعی
  • + به‌روزرسانی‌های روان
  • + سیاست‌های تصادفی
  • + بهینه‌سازی سرتاسری

مصرف شده

  • − گرادیان‌های واریانس بالا
  • − نمونه با کارایی کمتر
  • − ریسک بهینه محلی
  • − همگرایی کندتر

روش‌های مبتنی بر ارزش

مزایا

  • + نمونه کارآمد
  • + پایه نظری قوی
  • + ساده برای پیاده سازی
  • + با پخش مجدد خوب کار می‌کند

مصرف شده

  • − محدود به اقدامات گسسته
  • − می‌تواند ناپایدار باشد
  • − به ترفندهای اکتشافی نیاز دارد
  • − تمدید مداوم آن دشوار است

تصورات نادرست رایج

افسانه

روش‌های مبتنی بر سیاست همیشه در یادگیری تقویتی عمیق، از روش‌های مبتنی بر ارزش بهتر عمل می‌کنند.

واقعیت

هیچ‌کدام از این خانواده‌ها به‌طور جهانی برتر نیستند. روش‌های مبتنی بر ارزش مانند DQN به نتایج موفقیت‌آمیزی در آتاری دست یافتند، در حالی که روش‌های مبتنی بر سیاست در کنترل مداوم برتری دارند. بهترین انتخاب به فضای عمل، پویایی محیط و میزان داده‌های موجود بستگی دارد.

افسانه

روش‌های مبتنی بر ارزش نمی‌توانند با فضاهای عمل پیوسته کار کنند.

واقعیت

در حالی که Q-learning استاندارد با اقدامات پیوسته مشکل دارد، انواعی مانند Deep Deterministic Policy Gradient (DDPG) و Twin Delayed DDPG (TD3) با استفاده از معماری‌های actor-critic ایده‌های مبتنی بر ارزش را به حوزه‌های پیوسته گسترش می‌دهند. جدایی دقیق بین این دو خانواده بیشتر یک ساده‌سازی آموزشی است تا یک قانون سخت.

افسانه

گرادیان‌های سیاستی همیشه به سمت سیاست بهینه همگرا می‌شوند.

واقعیت

روش‌های گرادیان سیاست تضمین می‌کنند که تحت فرضیات استاندارد هموارسازی، به یک سیاست بهینه محلی همگرا شوند، نه به یک سیاست بهینه سراسری. چشم‌انداز بهینه‌سازی می‌تواند قله‌های زیادی داشته باشد و الگوریتم روی هر کدام که نقطه شروعش به آن منجر شود، قرار خواهد گرفت.

افسانه

روش‌های مبتنی بر ارزش نیازی به نمایش سیاست ندارند.

واقعیت

حتی روش‌های مبتنی بر ارزش، مانند حریصانه یا اپسیلون-حریصانه، به طور ضمنی یک سیاست را از طریق قانون انتخاب عمل خود تعریف می‌کنند. تفاوت این است که سیاست مستقیماً پارامتری و آموخته نمی‌شود؛ بلکه از تخمین‌های ارزش مشتق می‌شود.

افسانه

نمونه‌های بیشتر همیشه مشکل ناپایداری را در روش‌های مبتنی بر ارزش عمیق حل می‌کنند.

واقعیت

ناپایداری در یادگیری عمیق Q از مشکل هدف متحرک ناشی می‌شود، جایی که تابع مقدار به‌روزرسانی‌های خود را دنبال می‌کند. صرفاً افزودن داده‌های بیشتر این مشکل را برطرف نمی‌کند؛ تکنیک‌هایی مانند شبکه‌های هدف، یادگیری Q دوگانه و بازپخش اولویت‌بندی شده برای تثبیت آموزش مورد نیاز هستند.

سوالات متداول

تفاوت اصلی بین روش‌های مبتنی بر سیاست و روش‌های مبتنی بر ارزش چیست؟
روش‌های مبتنی بر سیاست مستقیماً نگاشتی از حالت‌ها به کنش‌ها را یاد می‌گیرند و آن را با استفاده از روش‌های گرادیان بهینه می‌کنند. روش‌های مبتنی بر ارزش ابتدا یاد می‌گیرند که بازده مورد انتظار انجام هر کنش را در هر حالت تخمین بزنند، سپس با انتخاب کنشی با بالاترین مقدار تخمینی، یک سیاست استخراج می‌کنند. تفاوت در این است که آیا سیاست یا تابع ارزش، شیء اصلی مورد یادگیری است یا خیر.
کدام روش برای فضاهای عمل پیوسته بهتر است؟
روش‌های مبتنی بر سیاست عموماً انتخاب اول برای فضاهای عمل پیوسته هستند زیرا می‌توانند پارامترهای یک توزیع پیوسته، مانند میانگین و واریانس یک تابع گاوسی، را خروجی دهند. روش‌های مبتنی بر ارزش به مشکل برمی‌خورند زیرا باید هر عمل ممکن را برای یافتن حداکثر مقایسه کنند، که وقتی اعمال دارای مقدار حقیقی هستند، این کار دشوار است. روش‌های منتقد-بازیگر مانند DDPG و PPO معمولاً در این تنظیمات استفاده می‌شوند.
چرا شیب‌های سیاست‌گذاری واریانس بالایی دارند؟
تخمین‌های گرادیان سیاست به کل مسیر حالت‌ها، اقدامات و پاداش‌ها بستگی دارد که می‌تواند بین قسمت‌ها بسیار متفاوت باشد. یک اجرای خوش‌شانس یا بدشانس می‌تواند تخمین گرادیان را به طرز چشمگیری تغییر دهد. تکنیک‌هایی مانند خطوط پایه، توابع مزیت و تخمین مزیت تعمیم‌یافته (GAE) برای کاهش این واریانس بدون ایجاد سوگیری زیاد استفاده می‌شوند.
آیا یادگیری-کیو روشی مبتنی بر ارزش است یا مبتنی بر سیاست؟
یادگیری Q یک روش مبتنی بر ارزش است. این روش تابع مقدار-عمل Q(s, a) را یاد می‌گیرد که بازده مورد انتظار انجام عمل a در حالت s را تخمین می‌زند. سپس سیاست با انتخاب عملی با بالاترین مقدار Q، اغلب با مقداری نویز اکتشافی که در طول آموزش اضافه می‌شود، استخراج می‌شود.
روش‌های منتقد بازیگر چیست؟
روش‌های منتقد-بازیگر، رویکردهای مبتنی بر سیاست و مبتنی بر ارزش را ترکیب می‌کنند. بازیگر، سیاستی است که اقدامات را انتخاب می‌کند و منتقد، تابع ارزشی است که میزان خوب بودن آن اقدامات را ارزیابی می‌کند. ارزیابی منتقد برای کاهش واریانس در به‌روزرسانی‌های گرادیان بازیگر استفاده می‌شود. نمونه‌های محبوب شامل A2C، A3C، PPO و DDPG هستند.
آیا روش‌های مبتنی بر ارزش می‌توانند سیاست‌های تصادفی را مدیریت کنند؟
روش‌های استاندارد مبتنی بر ارزش مانند یادگیری Q معمولاً با انتخاب عملی با بالاترین ارزش، سیاست‌های قطعی را یاد می‌گیرند. برای به دست آوردن رفتار تصادفی، باید قانون انتخاب عمل را تغییر دهید یا از انواع تخصصی استفاده کنید. از سوی دیگر، روش‌های مبتنی بر سیاست، به طور طبیعی سیاست‌های تصادفی تولید می‌کنند زیرا توزیع احتمال را روی اقدامات خروجی می‌دهند.
کدام الگوریتم در یادگیری تقویتی عمیق مدرن محبوب‌ترین است؟
PPO (بهینه‌سازی سیاست تقریبی) مسلماً پرکاربردترین الگوریتم در عمل امروزی است، به خصوص در کاربردهایی مانند رباتیک و هوش مصنوعی بازی. این یک روش مبتنی بر سیاست با عناصر بازیگر-منتقد است. با این حال، روش‌های مبتنی بر ارزش مانند DQN و انواع آن برای مسائل عمل گسسته همچنان محبوب هستند و SAC (بازیگر-منتقد نرم) یک انتخاب قوی برای کنترل پیوسته است.
آیا روش‌های مبتنی بر سیاست اصلاً به تابع ارزش نیاز دارند؟
روش‌های صرفاً مبتنی بر سیاست مانند REINFORCE معمولی نیازی به تابع ارزش ندارند، اگرچه اغلب از استفاده از آن به عنوان پایه برای کاهش واریانس سود می‌برند. انواع Actor-critic به صراحت از یک تابع ارزش به عنوان بخشی از معماری خود استفاده می‌کنند. بنابراین، اگرچه یک تابع ارزش اکیداً مورد نیاز نیست، اما معمولاً برای بهبود عملکرد گنجانده می‌شود.
چگونه بازپخش تجربه به روش‌های مبتنی بر ارزش کمک می‌کند؟
بازپخش تجربه، گذارهای گذشته را در یک بافر ذخیره می‌کند و در طول آموزش، آنها را به صورت تصادفی نمونه‌برداری می‌کند. این کار همبستگی بین نمونه‌های متوالی را می‌شکند که باعث تثبیت گرادیان‌ها در یادگیری عمیق Q می‌شود. همچنین به عامل اجازه می‌دهد تا از هر تجربه چندین بار یاد بگیرد و کارایی نمونه را بهبود بخشد. روش‌های مبتنی بر سیاست نیز می‌توانند از بافرهای بازپخش استفاده کنند، اما این موضوع در طراحی آنها اهمیت کمتری دارد.
آیا مواردی وجود دارد که روش‌های مبتنی بر ارزش سریع‌تر از روش‌های مبتنی بر سیاست همگرا شوند؟
بله، در بسیاری از محیط‌های عمل گسسته، روش‌های مبتنی بر ارزش سریع‌تر همگرا می‌شوند زیرا می‌توانند مستقیماً اطلاعات ارزش را از طریق معادله بلمن در بین حالت‌ها منتشر کنند. روش‌های مبتنی بر سیاست اغلب برای تخمین دقیق گرادیان‌ها به اپیزودهای زیادی نیاز دارند. با این حال، در فضاهای عمل پیوسته یا با ابعاد بالا، تصویر برعکس می‌شود و روش‌های مبتنی بر سیاست کاربردی‌تر می‌شوند.

حکم

وقتی مسئله شما شامل اقدامات پیوسته است، نیاز به کاوش تصادفی طبیعی دارد، یا وقتی می‌خواهید به‌روزرسانی‌های سیاست روان و پایدار داشته باشید، روش‌های مبتنی بر سیاست را انتخاب کنید. برای مسائل اقدام گسسته که در آن‌ها کارایی نمونه اهمیت دارد و می‌توانید از بازپخش تجربه بهره ببرید، از روش‌های مبتنی بر ارزش استفاده کنید. برای بسیاری از وظایف دنیای واقعی، هیبریدهای بازیگر-منتقد یک راه حل عملی میانه ارائه می‌دهند که نقاط قوت هر دو را با هم ترکیب می‌کند.

مقایسه‌های مرتبط

LLM های مبتنی بر ابزار در مقابل LLM های مستقل

LLM های مبتنی بر ابزار، مدل‌های زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشین‌حساب‌ها و پایگاه‌های داده گسترش می‌دهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکان‌پذیر می‌سازند. LLM های مستقل صرفاً به پارامترهای آموزش‌دیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از داده‌های آموزشی می‌کنند.

LLM های متن باز در مقابل API های اختصاصی LLM

LLM های متن باز، مدل‌های هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه می‌دهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه می‌دهند.

RAG (تولید افزوده بازیابی) در مقابل LLM های تنظیم دقیق

RAG و LLM های تنظیم‌شده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود می‌بخشند، اما به روش‌های اساساً متفاوتی عمل می‌کنند. RAG اطلاعات خارجی را در زمان پرس‌وجو دریافت می‌کند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزن‌های مدل قرار می‌دهد. انتخاب بین آنها بستگی به این دارد که داده‌های شما چند وقت یکبار تغییر می‌کنند و به چه نوع دقتی نیاز دارید.

RAG با متن بصری در مقابل RAG با متن فقط متنی

RAG با زمینه بصری، مدل‌های زبانی را با بازیابی تصاویر، نمودارها و دیاگرام‌ها در کنار متن غنی می‌کند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی ساده‌تر، سریع‌تر و ارزان‌تر برای استقرار باقی می‌ماند.

RAG چندوجهی در مقابل RAG فقط متنی

RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنی‌تر با هم پردازش می‌کند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا داده‌ها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.