یادگیری تقویتی بدون مدل و مبتنی بر مدل، دو رویکرد اساساً متفاوت برای آموزش عوامل هوش مصنوعی از طریق آزمون و خطا هستند. روشهای بدون مدل، مستقیماً از تجربه و بدون درک محیط خود یاد میگیرند، در حالی که روشهای مبتنی بر مدل، یک بازنمایی داخلی از نحوه عملکرد جهان برای برنامهریزی آینده ایجاد میکنند.
یک رویکرد یادگیری تقویتی که در آن عاملها اقدامات بهینه را مستقیماً از تعاملات محیطی و بدون ساخت یک مدل دنیای داخلی یاد میگیرند.
یک رویکرد یادگیری تقویتی که در آن عاملها یک مدل داخلی از پویایی محیط خود میسازند تا نتایج را شبیهسازی کرده و اقدامات آینده را برنامهریزی کنند.
| ویژگی | یادگیری تقویتی بدون مدل | یادگیری تقویتی مبتنی بر مدل |
|---|---|---|
| کارایی نمونه | کم - نیاز به میلیونها تعامل دارد | زیاد - از تعاملات بسیار کمتری یاد میگیرد |
| هزینه محاسباتی | در طول آموزش، زمان کمتری صرف میشود، بدون برنامهریزی اضافی | به دلیل یادگیری مدل و مراحل برنامهریزی، بالاتر است |
| الزامات حافظه | فقط سیاست فروشگاهها یا تابع ارزش | سیاست فروشگاهها به همراه مدل محیط آموختهشده |
| قابلیت برنامهریزی | بدون برنامهریزی صریح، سیاستهای واکنشی | میتواند چندین مرحله را شبیهسازی و برنامهریزی کند |
| پیچیدگی پیادهسازی | به طور کلی پیاده سازی ساده تر است | به دلیل مؤلفه یادگیری مدل، پیچیدهتر است |
| تعمیم به وظایف جدید | محدود - باید برای هر کار جدید دوباره یاد بگیرد | بهتر - مدل میتواند بین وظایف مختلف منتقل شود |
| پایداری در برابر خطاهای مدل | تحت تأثیر خطاهای مدل قرار نمیگیرد | آسیبپذیر در برابر ترکیب خطاهای مدل |
| الگوریتمهای قابل توجه | DQN، PPO، SAC، A3C | داینا، امبیپیاو، دریمر، موزیرو |
تمایز اصلی در نحوه کسب دانش توسط هر روش نهفته است. یادگیری تقویتی بدون مدل، محیط را به عنوان یک جعبه سیاه در نظر میگیرد و صرفاً از پاداشها و انتقالهایی که در طول تعاملات واقعی مشاهده میکند، یاد میگیرد. آن را مانند یادگیری دوچرخهسواری صرفاً از طریق تلاشهای مکرر در نظر بگیرید. از سوی دیگر، یادگیری تقویتی مبتنی بر مدل، ابتدا تلاش میکند تا قوانین محیط را درک کند و یک مدل پیشبینیکننده بسازد که بتواند به سؤالاتی مانند «اگر من X را انجام دهم چه اتفاقی میافتد؟» پاسخ دهد. این تفاوت اساسی همه چیز را از الزامات دادهها گرفته تا عملکرد نهایی شکل میدهد.
کارایی نمونه جایی است که روشهای مبتنی بر مدل واقعاً میدرخشند. یک عامل بدون مدل ممکن است برای تسلط بر یک کار به میلیونها یا حتی میلیاردها مرحله محیطی نیاز داشته باشد، در حالی که یک عامل مبتنی بر مدل اغلب میتواند با هزاران مرحله به عملکرد مشابهی دست یابد. این موضوع در کاربردهای دنیای واقعی که جمعآوری تجربه پرهزینه است، مانند رباتیک یا مراقبتهای بهداشتی، بسیار مهم است. با این حال، روشهای بدون مدل با سادهتر و پایدارتر بودن، این کمبود را جبران میکنند، زیرا لازم نیست نگران دقیق بودن مدل آموخته شده خود باشند.
عاملهای مبتنی بر مدل میتوانند قبل از عمل، با اجرای شبیهسازیها از طریق مدل داخلی خود، فکر کنند. این امر، استراتژیهای برنامهریزی پیچیدهای مانند جستجوی درختی مونت کارلو را امکانپذیر میکند، که به تسلط بر شطرنج آلفازیرو معروف بود. در مقابل، عاملهای بدون مدل، مستقیماً بر اساس سیاست آموختهشده خود و بدون هیچ گونه نگاه به آینده پاسخ میدهند. اگرچه این امر باعث میشود آنها در زمان تصمیمگیری سریعتر باشند، اما همچنین به این معنی است که آنها نمیتوانند مانند سیستمهای مبتنی بر مدل، در مورد پیامدهای بلندمدت استدلال کنند.
انتخاب بین این رویکردها اغلب به محدودیتهای خاص شما بستگی دارد. یادگیری تقویتی بدون مدل در سناریوهایی با شبیهسازی ارزان، مانند بازی یا تنظیم دقیق مدل زبانی در مقیاس بزرگ با RLHF، غالب است. یادگیری تقویتی مبتنی بر مدل زمانی که تعاملات محیطی پرهزینه یا خطرناک هستند، مانند رانندگی خودکار، رباتیک و کشف دارو، برتری دارد. رویکردهای ترکیبی مانند MuZero نشان دادهاند که ترکیب هر دو الگو میتواند مزایای هر یک را به دست آورد و در عین حال نقاط ضعف فردی آنها را کاهش دهد.
روشهای بدون مدل در هنگام استقرار، قابلیت پیشبینی بیشتری دارند، زیرا رفتار آنها فقط به سیاست آموختهشده بستگی دارد. سیستمهای مبتنی بر مدل با چالش سوگیری مدل مواجه هستند، که در آن عدم دقت در دینامیکهای آموختهشده در طول برنامهریزی ترکیب میشود و میتواند منجر به تصمیمگیریهای ضعیف شود. محققان این موضوع را از طریق تکنیکهایی مانند تخمین عدم قطعیت، برنامهریزی قوی و مدلهای گروهی مورد بررسی قرار میدهند، اما این موضوع همچنان یک حوزه تحقیقاتی فعال است که استقرار قابل اعتماد رویکردهای مبتنی بر مدل را دشوارتر میکند.
یادگیری تقویتی مبتنی بر مدل همیشه برتر است زیرا از برنامهریزی استفاده میکند.
روشهای مبتنی بر مدل به طور کلی بهتر نیستند. وقتی شبیهسازی ارزان و محیط به اندازه کافی پیچیده باشد که یادگیری یک مدل دقیق دشوار باشد، رویکردهای بدون مدل اغلب عملکرد بهتری دارند. اصل «ناهار رایگان نیست» صدق میکند، به این معنی که بهترین انتخاب به محدودیتهای خاص مسئله شما بستگی دارد.
یادگیری تقویتی بدون مدل نمیتواند از قبل برنامهریزی یا فکر کند.
اگرچه عاملهای مستقل از مدل در زمان تصمیمگیری به طور صریح برنامهریزی نمیکنند، اما همچنان میتوانند رفتارهای برنامهریزی ضمنی را از طریق آموزش یاد بگیرند. سیاستهای بازگشتی و مکانیسمهای توجه به عاملهای مستقل از مدل اجازه میدهند تا بازنماییهای داخلی را توسعه دهند که از استدلال چند مرحلهای پشتیبانی میکنند، حتی بدون یک مدل جهان صریح.
یادگیری تقویتی مبتنی بر مدل نیازمند دانش کامل از دینامیک محیط است.
روشهای مدرن مبتنی بر مدل، مدل دینامیکی خود را از دادهها یاد میگیرند، نه اینکه نیاز به مشخص کردن آن از قبل داشته باشند. این مدل معمولاً تقریبی و ناقص است، به همین دلیل تکنیکهایی برای مدیریت عدم قطعیت مدل، یک حوزه تحقیقاتی فعال هستند.
این دو رویکرد کاملاً از هم جدا و ناسازگارند.
بسیاری از سیستمهای پیشرفته هر دو الگو را با هم ترکیب میکنند. برای مثال، MuZero یک مدل پنهان از محیط را یاد میگیرد و از آن برای برنامهریزی استفاده میکند و در عین حال از تکنیکهای یادگیری بدون مدل نیز بهره میبرد. معماری Dyna به صراحت مدلهای آموخته شده را با یادگیری بدون مدل ترکیب میکند تا از هر دو جهان بهترین بهره را ببرد.
یادگیری تقویتی بدون مدل منسوخ شده و جای خود را به روشهای مبتنی بر مدل داده است.
یادگیری تقویتی بدون مدل همچنان بسیار مرتبط و به طور گسترده مورد استفاده قرار میگیرد. PPO و SAC ابزارهای استاندارد در رباتیک، هوش مصنوعی بازی و آموزش مدل زبانهای بزرگ هستند. بسیاری از کاربردهای عملی هنوز به دلیل سادگی و قابلیت اطمینان، روشهای بدون مدل را ترجیح میدهند.
زمانی که منابع محاسباتی فراوان و دسترسی به شبیهسازی ارزان دارید و وظیفه شما نیازی به برنامهریزی گسترده یا انتقال به محیطهای جدید ندارد، یادگیری تقویتی بدون مدل را انتخاب کنید. زمانی که کارایی نمونه اهمیت دارد، تعاملات محیطی گران هستند یا عامل شما نیاز به برنامهریزی چندین مرحله قبل و تعمیم به وظایف مرتبط دارد، یادگیری تقویتی مبتنی بر مدل را انتخاب کنید.
LLM های مبتنی بر ابزار، مدلهای زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشینحسابها و پایگاههای داده گسترش میدهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکانپذیر میسازند. LLM های مستقل صرفاً به پارامترهای آموزشدیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از دادههای آموزشی میکنند.
LLM های متن باز، مدلهای هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه میدهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه میدهند.
RAG و LLM های تنظیمشده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود میبخشند، اما به روشهای اساساً متفاوتی عمل میکنند. RAG اطلاعات خارجی را در زمان پرسوجو دریافت میکند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزنهای مدل قرار میدهد. انتخاب بین آنها بستگی به این دارد که دادههای شما چند وقت یکبار تغییر میکنند و به چه نوع دقتی نیاز دارید.
RAG با زمینه بصری، مدلهای زبانی را با بازیابی تصاویر، نمودارها و دیاگرامها در کنار متن غنی میکند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی سادهتر، سریعتر و ارزانتر برای استقرار باقی میماند.
RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنیتر با هم پردازش میکند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا دادهها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.
