اکتشاف و بهرهبرداری دو استراتژی رقیب در یادگیری تقویتی هستند که نحوه جمعآوری دانش توسط یک عامل در مقابل نحوه استفاده از دانش فعلی او را تعیین میکنند. ایجاد تعادل بین این رویکردها یکی از چالشهای اصلی در آموزش سیستمهای هوشمند برای تصمیمگیری بهینه در طول زمان است.
استراتژی آزمودن اعمال جدید برای کشف پاداشهای ناشناخته و جمعآوری اطلاعات در مورد محیط.
استراتژی انتخاب شناختهشدهترین اقدام بر اساس دانش فعلی برای به حداکثر رساندن پاداش فوری.
| ویژگی | اکتشاف | بهرهبرداری در یادگیری تقویتی |
|---|---|---|
| هدف اصلی | کشف اطلاعات جدید در مورد محیط زیست | با استفاده از اطلاعات شناخته شده، پاداش فوری را به حداکثر برسانید |
| سطح ریسک | ریسک کوتاهمدت بالاتر، یادگیری بلندمدت بهتر | ریسک کوتاهمدت کمتر، رکود بلندمدت بالقوه |
| روشهای معمول | اپسیلون-حریص، UCB، نمونهگیری تامپسون، پاداشهای مبتنی بر کنجکاوی | سیاست حریصانه، بولتزمن با دمای پایین، انتخاب بهترین اقدام |
| الزامات دانش | زمانی که عامل دادههای قبلی کمی دارد، بهترین عملکرد را دارد | زمانی که عامل، تخمینهای ارزش قابل اعتمادی داشته باشد، بهترین عملکرد را دارد. |
| رفتار پاداشی | ممکن است پاداش فعلی را فدای دستاوردهای آینده کند | پیوسته بالاترین پاداش شناخته شده را دنبال میکند |
| حالت خرابی | وقت خود را صرف کارهای بیفایده میکند | در ماکزیممهای محلی غیربهینه گیر میکند |
| از قدرت مورد استفاده کنید | پاداشهای اندک، فضاهای حالت بزرگ، آموزش زودهنگام | آموزش دیرهنگام، محیطهای پایدار، تنظیم دقیق |
| اطلاعات به دست آمده | بالا - نتایج جدید اقدامات ایالتی را آشکار میکند | پایین - باورهای موجود را تأیید میکند |
کاوش و بهرهبرداری در حلقه یادگیری تقویتی اساساً اهداف متفاوتی را دنبال میکنند. کاوش عمداً از عملی که گمان میرود بهترین است، فاصله میگیرد تا بفهمد آیا چیز بهتری وجود دارد یا خیر. در مقابل، بهرهبرداری کاملاً به بهترین تخمین فعلی عامل پایبند است. تنش بین آنها اغلب به عنوان بدهبستان بین جمعآوری دانش و اقدام بر اساس آن مطرح میشود.
عاملی که بیش از حد کاوش میکند، ممکن است هرگز به یک سیاست قوی دست نیابد، در حالی که عاملی که خیلی زود بهرهبرداری میکند، میتواند در یک استراتژی متوسط گیر کند. تحقیقات روی راهزنان چند مسلح نشان داده است که تعادل بهینه با گذشت زمان تغییر میکند: در اوایل، کاوش به دلیل عدم قطعیت بالا، نتیجه میدهد، اما با افزایش اعتماد، بهرهبرداری به انتخاب منطقی تبدیل میشود. الگوریتمهایی مانند UCB1 و الگوریتم Decaying epsilon-greedy این تغییر را به صورت ریاضی فرموله میکنند.
تکنیکهای کاوش معمولاً سیگنالهای تصادفی یا پاداش را در انتخاب عمل وارد میکنند، مانند انتخابهای تصادفی epsilon-greedy یا ماژولهای کنجکاوی که به حالتهای جدید پاداش میدهند. کاوش معمولاً با انتخاب سادهی argmax تابع مقدار یا عمل با بالاترین احتمال از یک شبکهی سیاستگذاری پیادهسازی میشود. در یادگیری تقویتی عمیق، روشهایی مانند شبکههای نویزی و پاداشهای آنتروپی با جاسازی مستقیم کاوش در پارامترهای شبکه، مرز را محو میکنند.
اهمیت نسبی هر استراتژی به شدت به محیط بستگی دارد. در محیطهای پاداش متراکم که بازخورد مکرر است، بهرهبرداری میتواند زودتر غالب شود زیرا عامل به سرعت یاد میگیرد. در محیطهای پاداش پراکنده مانند انتقام مونتزوما یا وظایف رباتیک دنیای واقعی، اکتشاف به مشکل سختتری تبدیل میشود و اغلب برای پیشرفت به انگیزه ذاتی پیچیدهای نیاز دارد.
هیچکدام از این دو استراتژی به تنهایی برتر نیستند، به همین دلیل است که این حوزه آنها را به عنوان یک معضل جفتشده به جای گزینههای رقیب در نظر میگیرد. الگوریتمهای مؤثر، کاوش را به صورت پویا برنامهریزی میکنند و با پیشرفت آموزش یا کاهش عدم قطعیت در مورد اقدامات خاص، آن را کاهش میدهند. قضیه معروف «ناهار رایگان ممنوع» به متخصصان یادآوری میکند که هیچ برنامه کاوش واحدی در مورد هر مسئلهای بهترین عملکرد را ندارد.
اکتشاف و بهرهبرداری دو الگوریتم جداگانه هستند که شما بین آنها یکی را انتخاب میکنید.
آنها استراتژیهای مکملی هستند که تقریباً هر الگوریتم یادگیری تقویتی به نسبتی آنها را با هم ترکیب میکند. حتی یک سیاست حریصانه نیز به طور ضمنی در طول آموزش اولیه، زمانی که تخمینهای مقدار آن هنوز نادرست و عملاً تصادفی هستند، کاوش میکند.
کاوش بیشتر همیشه منجر به عملکرد نهایی بهتر میشود.
کاوش بیش از حد میتواند مانع از آن شود که عامل هرگز به یک سیاست قوی متعهد شود، به خصوص در محیطهایی که اقدامات خوب نادر هستند. هنر در برنامهریزی کاوش نهفته است تا با بهبود دانش، محو شود.
موازنه اکتشاف-بهرهبرداری فقط در یادگیری تقویتی اهمیت دارد.
همین معضل در راهزنان چند مسلح، بهینهسازی بیزی، جستجوی تکاملی و حتی تصمیمگیری انسانی نیز ظاهر میشود. یادگیری تقویتی تنها یکی از زمینههایی است که بیشترین مطالعه را در مورد آن داشته است.
وقتی یک عامل به اندازه کافی کاوش کرد، بهرهبرداری همیشه انتخاب مناسبی است.
در محیطهای غیر ایستا که تابع پاداش با گذشت زمان تغییر میکند، کاوش مداوم برای همیشه ارزشمند باقی میماند. عامل باید بررسی کند که آیا فرضیات قدیمیاش هنوز پابرجا هستند یا خیر.
اقدامات تصادفی تنها راه برای کاوش هستند.
استراتژیهای اکتشاف مدرن بسیار پیچیدهتر از تصادفی بودن محض هستند. ماژولهای «محدوده اطمینان بالا»، «نمونهگیری تامپسون» و «کنجکاوی ذاتی» همگی به روشهای ساختاریافته و آگاهانهای کاوش میکنند که از نظر نمونه بسیار کارآمدتر هستند.
وقتی محیط ناآشنا است، پاداشها پراکنده هستند، یا فضای حالت به اندازه کافی بزرگ است که احتمالاً مناطق با ارزش بالا و کشف نشده وجود دارند، استراتژیهای سنگین اکتشافی را انتخاب کنید. زمانی که عامل تخمینهای ارزش قابل اعتمادی ایجاد کرده است و هزینه امتحان کردن اقدامات ناشناخته از مزایای بالقوه آن بیشتر است، به سمت بهرهبرداری تغییر جهت دهید. بهترین سیستمهای یادگیری تقویتی این دو را به عنوان شریک به جای رقیب در نظر میگیرند و آنها را با دقت در طول فرآیند آموزش برنامهریزی میکنند.
LLM های مبتنی بر ابزار، مدلهای زبانی مستقل را با اتصال آنها به APIهای خارجی، ماشینحسابها و پایگاههای داده گسترش میدهند و بازیابی اطلاعات و اجرای وظایف را در زمان واقعی امکانپذیر میسازند. LLM های مستقل صرفاً به پارامترهای آموزشدیده خود متکی هستند و آنها را مستقل اما محدود به دانش حاصل از دادههای آموزشی میکنند.
LLM های متن باز، مدلهای هوش مصنوعی قابل تنظیم و خود-میزبان با دسترسی کامل به کد ارائه میدهند، در حالی که API های اختصاصی LLM، خدمات مدیریت شده و بهبود یافته را از طریق نقاط پایانی مبتنی بر ابر با قیمت گذاری مبتنی بر میزان استفاده ارائه میدهند.
RAG و LLM های تنظیمشده دقیق، هر دو کیفیت خروجی هوش مصنوعی را بهبود میبخشند، اما به روشهای اساساً متفاوتی عمل میکنند. RAG اطلاعات خارجی را در زمان پرسوجو دریافت میکند، در حالی که تنظیم دقیق، دانش جدید را مستقیماً در وزنهای مدل قرار میدهد. انتخاب بین آنها بستگی به این دارد که دادههای شما چند وقت یکبار تغییر میکنند و به چه نوع دقتی نیاز دارید.
RAG با زمینه بصری، مدلهای زبانی را با بازیابی تصاویر، نمودارها و دیاگرامها در کنار متن غنی میکند، در حالی که RAG فقط متنی صرفاً به متون نوشتاری متکی است. RAG بصری در وظایف چندوجهی مانند درک اسناد و پاسخ به سؤالات بصری برتری دارد، در حالی که RAG فقط متنی سادهتر، سریعتر و ارزانتر برای استقرار باقی میماند.
RAG چندوجهی متن، تصاویر، صدا و ویدیو را برای بازیابی غنیتر با هم پردازش میکند، در حالی که RAG فقط متنی منحصراً بر محتوای نوشتاری تمرکز دارد. انتخاب بستگی به این دارد که آیا دادهها و موارد استفاده شما فراتر از اسناد متنی ساده است یا خیر.
