یادگیری تقویتی و یادگیری تحت نظارت، دو رویکرد اساساً متفاوت برای آموزش مدلهای یادگیری ماشین هستند. در حالی که یادگیری تحت نظارت برای آموزش پاسخهای صحیح به مدلها به مجموعه دادههای برچسبگذاری شده متکی است، یادگیری تقویتی، عاملها را از طریق تعاملات آزمون و خطا با یک محیط، با هدایت پاداشها و جریمهها، آموزش میدهد.
برجستهها
یادگیری تقویتی از تعامل محیطی یاد میگیرد در حالی که یادگیری نظارتشده از نمونههای برچسبگذاریشده یاد میگیرد
یادگیری نظارتشده بازخورد فوری ارائه میدهد؛ یادگیری تقویتی اغلب با پاداشهای تأخیری و پراکنده کار میکند.
یادگیری تقویتی در تصمیمگیریهای متوالی برتری دارد؛ یادگیری نظارتشده در وظایف طبقهبندی و پیشبینی غالب است
این دو رویکرد به طور فزایندهای در سیستمهای ترکیبی برای مسائل پیچیده دنیای واقعی با هم ترکیب میشوند.
یادگیری تقویتی چیست؟
یک الگوی یادگیری ماشینی که در آن یک عامل، اقدامات بهینه را از طریق تعاملات محیطی یاد میگیرد و بر اساس تصمیمات خود پاداش یا جریمه دریافت میکند.
یادگیری تقویتی، عاملها را از طریق تعاملات مکرر آزمون و خطا با یک محیط، به جای مجموعه دادههای ایستا، آموزش میدهد.
سازوکار اصلی به یک سیگنال پاداش متکی است که به عامل میگوید اعمالش خوب بوده یا بد، بدون اینکه عمل صحیح را مشخص کند.
یادگیری Q که توسط کریستوفر واتکینز در سال ۱۹۸۹ توسعه داده شد، همچنان یکی از الگوریتمهای بنیادی در این زمینه است.
یادگیری تقویتی عمیق به عملکرد فوق بشری در بازیهای آتاری دست یافت و قهرمانان جهان را در بازیهای Go و شطرنج شکست داد.
از جمله کاربردهای قابل توجه در دنیای واقعی میتوان به کنترل رباتیک، سیستمهای رانندگی خودران و بهینهسازی خنکسازی مراکز داده در گوگل اشاره کرد.
یادگیری تحت نظارت چیست؟
یک رویکرد یادگیری ماشینی که در آن مدلها الگوها را از دادههای آموزشی برچسبگذاری شده یاد میگیرند و ورودیها را به خروجیهای صحیح شناخته شده نگاشت میکنند.
یادگیری نظارتشده نیازمند مجموعه دادههای برچسبگذاریشده است که در آن هر مثال ورودی با پاسخ صحیح یا مقدار هدف جفت میشود.
الگوریتمهای رایج شامل رگرسیون خطی، درختهای تصمیمگیری، ماشینهای بردار پشتیبان و شبکههای عصبی عمیق هستند.
این رویکرد امروزه بر کاربردهای عملی هوش مصنوعی تسلط دارد و اکثر سیستمهای تشخیص تصویر، تشخیص هرزنامه و تشخیص پزشکی را پشتیبانی میکند.
کیفیت دادههای آموزشی مستقیماً عملکرد مدل را تعیین میکند، و برچسبگذاری دادهها را به یک گام حیاتی و اغلب پرهزینه تبدیل میکند.
پسانتشار، که در دهه ۱۹۸۰ رواج یافت، انقلاب یادگیری عمیق مدرن را که عمدتاً بر پایه تکنیکهای نظارتشده بنا شده بود، ممکن ساخت.
جدول مقایسه
ویژگی
یادگیری تقویتی
یادگیری تحت نظارت
رویکرد یادگیری
آزمون و خطا از طریق تعامل محیطی
یادگیری از مثالهای ورودی-خروجی برچسبگذاری شده
الزامات داده
نیازی به دادههای برچسبگذاریشده نیست؛ از پاداشها یاد میگیرد
به حجم زیادی از دادههای آموزشی برچسبگذاریشده نیاز دارد
نیازی به کاوش نیست؛ الگوهای موجود در دادهها را دنبال میکند
کارایی نمونه
اغلب به میلیونها تعامل نیاز دارد
به طور کلی با برچسبهای باکیفیت، نمونهها کارآمدتر هستند
تفسیرپذیری
عملکردها و سیاستهای پاداش میتوانند پیچیده باشند
اغلب تفسیرپذیرتر است، به خصوص با مدلهای سادهتر
مقایسه دقیق
فلسفه یادگیری محوری
تفاوت اساسی در نحوه کسب دانش توسط هر رویکرد نهفته است. یادگیری نظارتشده مانند دانشآموزی عمل میکند که با یک پاسخنامه درس میخواند و یاد میگیرد ورودیها را به خروجیهای صحیح شناختهشده نگاشت کند. یادگیری تقویتی شبیه یادگیری از طریق تجربه است، جایی که یک عامل با انجام واقعی آنها و مشاهده عواقب، کشف میکند که کدام اقدامات منجر به نتایج مطلوب میشوند. این شکاف فلسفی همه چیز را از الزامات دادهها گرفته تا طراحی الگوریتم شکل میدهد.
دادهها و بازخورد
یادگیری نظارتشده نیازمند مجموعه دادههای برچسبگذاریشدهی دقیقی است که تولید آنها میتواند پرهزینه و زمانبر باشد، اما بازخورد واضح و فوری برای هر نمونهی آموزشی ارائه میدهد. یادگیری تقویتی مشکل برچسبگذاری را بهطور کامل برطرف میکند، اما چالش خاص خود را نیز ایجاد میکند: سیگنال پاداش اغلب پراکنده و با تأخیر است و تخصیص اعتبار را دشوار میکند. یک عامل ممکن است صدها اقدام انجام دهد تا بازخورد معناداری در مورد موفقیتآمیز بودن استراتژی کلی خود دریافت کند.
کاربردهای عملی
یادگیری نظارتشده در صنایعی که دادههای تاریخی با نتایج شناختهشده وجود دارد، غالب است و در وظایف طبقهبندی، رگرسیون و تشخیص الگو مانند تشخیص بیماریها از تصاویر پزشکی یا کشف تراکنشهای جعلی، عالی عمل میکند. یادگیری تقویتی در مسائل تصمیمگیری متوالی که در آنها استراتژی بهینه باید از طریق تعامل کشف شود، مانند آموزش راه رفتن به رباتها، بهینهسازی زنجیرههای تأمین یا تسلط بر بازیهای پیچیدهای مانند StarCraft II، میدرخشد.
چالشهای آموزشی
هر دو رویکرد با موانع مشخصی روبرو هستند. یادگیری نظارتشده با تغییر توزیع دست و پنجه نرم میکند، جایی که مدلها روی دادههایی متفاوت از نمونههای آموزشی عملکرد ضعیفی دارند و میتوانند سوگیریهای موجود در دادههای برچسبگذاریشده را تداوم بخشند. یادگیری تقویتی با بدهبستان اکتشاف-بهرهبرداری، ناکارآمدی نمونه و دشواری طراحی توابع پاداش که رفتار مطلوب را بدون عواقب ناخواسته ثبت میکنند، دست و پنجه نرم میکند. پایداری آموزش همچنان یک حوزه تحقیقاتی فعال برای هر دو الگو است.
عملکرد و مقیاسپذیری
یادگیری نظارتشده به یک رشته بسیار مقیاسپذیر تبدیل شده است و مدلهای از پیش آموزشدیدهای مانند BERT و GPT قابلیتهای یادگیری انتقالی قابل توجهی را نشان میدهند. یادگیری تقویتی برای محیطهای پیچیده به منابع محاسباتی قابل توجهی نیاز دارد، اگرچه پیشرفتهایی مانند AlphaGo و AlphaZero نشان دادهاند که میتوانند در حوزههای خاص به عملکرد فوق بشری دست یابند. این دو رویکرد به طور فزایندهای در سیستمهای ترکیبی که از نقاط قوت هر یک بهره میبرند، ترکیب میشوند.
مزایا و معایب
یادگیری تقویتی
مزایا
+بدون دادههای برچسبگذاریشده یاد میگیرد
+تصمیمات متوالی را به خوبی مدیریت میکند
+میتواند استراتژیهای بدیع را کشف کند
+با محیطهای پویا سازگار میشود
مصرف شده
−نمونه ناکارآمد
−طراحی پاداش دشوار است
−آموزش میتواند ناپایدار باشد
−از نظر محاسباتی گران است
یادگیری تحت نظارت
مزایا
+سیگنال تمرینی واضح
+ابزارها و روشهای بالغ
+دقت پیشبینی قوی
+ارزیابی آسانتر
مصرف شده
−به دادههای برچسبگذاریشده نیاز دارد
−ضعف در انجام وظایف متوالی
−محدود به الگوهای شناخته شده
−سوگیری از دادههای آموزشی
تصورات نادرست رایج
افسانه
یادگیری تقویتی همیشه به دادههای بیشتری نسبت به یادگیری نظارتشده نیاز دارد.
واقعیت
اگرچه یادگیری تقویتی اغلب به تعاملات زیادی نیاز دارد، اما مقایسهی آن ساده نیست. یک تصویر برچسبگذاری شدهی واحد میتواند یک مدل نظارتشده را آموزش دهد، اما عاملهای یادگیری تقویتی گاهی اوقات میتوانند به طور مؤثر از تعداد نسبتاً کمی از قسمتها در محیطهای با طراحی خوب یاد بگیرند. مسئلهی اصلی این است که تعاملات یادگیری تقویتی متوالی هستند و موازیسازی آنها دشوارتر از پردازش مجموعه دادههای ایستا است.
افسانه
یادگیری نظارتشده به دلیل موفقیتهای اخیر یادگیری تقویتی، منسوخ شده است.
واقعیت
یادگیری نظارتشده همچنان نیروی محرکه اصلی استقرار عملی هوش مصنوعی است. اکثر سیستمهای تولیدی، از موتورهای پیشنهاددهنده گرفته تا تشخیصهای پزشکی، به رویکردهای نظارتشده متکی هستند. دستاوردهای اصلی یادگیری تقویتی در بازیها، در اکثر برنامههای تجاری که دادههای برچسبگذاریشده از قبل وجود دارند و تصمیمگیری متوالی مورد نیاز نیست، قابل استفاده نیست.
افسانه
یادگیری تقویتی اصلاً به هیچ دادهای نیاز ندارد.
واقعیت
اگرچه یادگیری تقویتی به مجموعه دادههای برچسبگذاریشده نیاز ندارد، اما همچنان به محیطی برای تعامل نیاز دارد که اغلب حاوی دادههای ضمنی است یا نیاز به شبیهسازی دارد. عامل، دادههای آموزشی خود را از طریق کاوش تولید میکند، اما این دادهها به قیمت زمان محاسباتی و پیامدهای بالقوه دنیای واقعی در سیستمهای مستقر تمام میشوند.
تعمیمپذیری به مسئله و پیادهسازی بستگی دارد. یک عامل یادگیری تقویتی که در سناریوهای متنوع آموزش دیده است، میتواند سیاستهای بسیار انعطافپذیری ایجاد کند، در حالی که مدلهای نظارتشده اغلب هنگام مواجهه با توزیعهایی متفاوت از دادههای آموزشی خود، شکست میخورند. هر دو رویکرد به روشهای مختلفی با نمونههای خارج از توزیع دست و پنجه نرم میکنند.
افسانه
شما باید برای هر مسئلهی داده شده، یادگیری نظارت شده یا یادگیری تقویتی را انتخاب کنید.
واقعیت
سیستمهای هوش مصنوعی مدرن اغلب هر دو رویکرد را با هم ترکیب میکنند. یک ربات ممکن است از یادگیری نظارتشده برای ادراک (تشخیص اشیاء) و یادگیری تقویتی برای کنترل (تصمیمگیری حرکات) استفاده کند. یادگیری تقلیدی، نوعی شبیهسازی رفتار، از یادگیری نظارتشده برای خودراهاندازی یادگیری تقویتی استفاده میکند و به طرز چشمگیری کارایی نمونه را بهبود میبخشد.
سوالات متداول
تفاوت اصلی بین یادگیری تقویتی و یادگیری نظارت شده چیست؟
تمایز اصلی در نحوه وقوع یادگیری نهفته است. یادگیری نظارتشده از یک مجموعه داده ثابت از جفتهای ورودی-خروجی که در آن پاسخهای صحیح ارائه میشوند، یاد میگیرد. یادگیری تقویتی با تعامل با یک محیط و دریافت پاداش یا جریمه بر اساس اقدامات انجامشده، بدون اینکه مستقیماً پاسخ صحیح به شما گفته شود، یاد میگیرد. یادگیری نظارتشده را به عنوان یادگیری از مثالها و یادگیری تقویتی را به عنوان یادگیری از تجربه در نظر بگیرید.
کدام رویکرد برای آموزش به دادههای بیشتری نیاز دارد؟
بستگی به مسئله دارد. یادگیری نظارتشده به مثالهای برچسبگذاریشده نیاز دارد که ایجاد آنها میتواند پرهزینه باشد اما به طور کارآمد پردازش میشوند. یادگیری تقویتی به دادههای از پیش برچسبگذاریشده نیازی ندارد اما اغلب برای یادگیری وظایف پیچیده به میلیونها تعامل محیطی نیاز دارد. برای مسائلی با دادههای برچسبگذاریشده فراوان، یادگیری نظارتشده معمولاً از نظر نمونه کارآمدتر است. برای مسائل تصمیمگیری متوالی، یادگیری تقویتی ممکن است تنها گزینه مناسب با وجود نیاز به نمونه باشد.
آیا یادگیری تقویتی میتواند بدون تابع پاداش کار کند؟
یادگیری تقویتی سنتی اساساً برای تعریف رفتار خوب به یک سیگنال پاداش نیاز دارد. با این حال، انواعی مانند یادگیری تقلیدی از نمایشهای تخصصی بدون پاداشهای صریح یاد میگیرند و یادگیری تقویتی معکوس توابع پاداش را از رفتار مشاهده شده استنباط میکند. یادگیری تقویتی خالص بدون هیچ سیگنال بازخوردی واقعاً امکانپذیر نیست، زیرا تابع پاداش هدف یادگیری را تعریف میکند.
آیا یادگیری نظارتشده زیرمجموعهای از یادگیری تقویتی است؟
خیر، آنها الگوهای متمایزی در یادگیری ماشین هستند، اگرچه مبانی ریاضی مشترکی دارند. برخی از محققان یادگیری تحت نظارت را به عنوان یک مورد خاص در نظر میگیرند که در آن هر مثال پاداش فوری معادل ضرر ارائه میدهد. با این حال، این چارچوب به طور جهانی پذیرفته نشده است و این دو حوزه تا حد زیادی مستقل از هم با الگوریتمها، کاربردها و چارچوبهای نظری مختلف توسعه یافتهاند.
کدام یک برای وظایف تشخیص تصویر بهتر است؟
یادگیری نظارتشده به شدت برای تشخیص تصویر ترجیح داده میشود. شبکههای عصبی کانولوشن و مبدلهای بینایی که با مجموعه دادههای تصویر برچسبگذاریشده آموزش دیدهاند، در وظایف طبقهبندی، تشخیص و قطعهبندی به عملکرد پیشرفتهای دست مییابند. یادگیری تقویتی در وظایف مرتبط با تصویر مانند ناوبری بصری و زیرنویس تصویر به کار گرفته شده است، اما این موارد در مقایسه با تسلط رویکردهای نظارتشده در بینایی کامپیوتر، کاربردهای محدودی دارند.
یادگیری عمیق چه ارتباطی با هر دو رویکرد دارد؟
یادگیری عمیق به عنوان یک تقریبگر تابع در هر دو الگو عمل میکند. در یادگیری نظارتشده، شبکههای عصبی عمیق یاد میگیرند که ورودیها را از طریق پسانتشار به خروجیها نگاشت کنند. در یادگیری تقویتی عمیق، شبکههای عصبی توابع یا سیاستهای ارزشی را تقریب میزنند و عاملها را قادر میسازند تا ورودیهای با ابعاد بالا مانند تصاویر خام را مدیریت کنند. معماریهایی مانند CNNها و ترانسفورماتورها در هر دو زمینه ظاهر میشوند، اگرچه رویههای آموزش تفاوت قابل توجهی دارند.
کاربردهای معروف هر کدام در دنیای واقعی چیست؟
یادگیری نظارتشده، اکثر سیستمهای هوش مصنوعی مستقر را تقویت میکند: تشخیص چهره، تشخیص پزشکی از طریق تصویربرداری، فیلترهای اسپم ایمیل، امتیازدهی اعتباری و دستیاران صوتی. یادگیری تقویتی به موفقیتهای چشمگیری در بازیسازی (AlphaGo، OpenAI Five)، رباتیک (حرکت بوستون داینامیکس)، وسایل نقلیه خودران (اجزای تصمیمگیری) و بهینهسازی صنعتی (خنککننده مرکز داده گوگل، که به 40٪ صرفهجویی در انرژی دست یافت) دست یافته است.
آیا میتوان این دو رویکرد را با هم ترکیب کرد؟
کاملاً، و رویکردهای ترکیبی به طور فزایندهای رایج هستند. یادگیری تقلیدی از یادگیری نظارتشده روی نمایشهای تخصصی برای خودراهاندازی یادگیری تقویتی استفاده میکند. روشهای بازیگر-منتقد از یادگیری نظارتشده برای آموزش شبکه منتقد استفاده میکنند در حالی که یادگیری تقویتی بازیگر را آموزش میدهد. سیستمهای ترکیبی ممکن است از یادگیری نظارتشده برای ماژولهای ادراک و از یادگیری تقویتی برای تصمیمگیری استفاده کنند و سیستمهای کلی توانمندتری نسبت به هر یک از این رویکردها به تنهایی ایجاد کنند.
حکم
یادگیری تحت نظارت را زمانی انتخاب کنید که دادههای برچسبگذاریشده باکیفیتی دارید و نیاز به پیشبینی یا طبقهبندی در مورد مسائل تعریفشدهای مانند تشخیص تصویر یا تشخیص تقلب دارید. یادگیری تقویتی را زمانی انتخاب کنید که با تصمیمگیریهای متوالی در محیطهای پویا سروکار دارید که در آنها استراتژی بهینه باید از طریق تعامل کشف شود، مانند رباتیک، بازی یا وظایف بهینهسازی بلادرنگ.