Gücləndirici təlim və nəzarətli təlim maşın öyrənmə modellərinin öyrədilməsi üçün iki əsaslı fərqli yanaşmanı təmsil edir. Nəzarətli təlim modellərə düzgün cavabları öyrətmək üçün etiketlənmiş məlumat dəstlərinə əsaslansa da, gücləndirici təlim agentləri mükafatlar və cəzalar əsasında mühitlə sınaq və səhv qarşılıqlı əlaqələri vasitəsilə öyrədir.
Seçilmişlər
Gücləndirici təlim ətraf mühitin qarşılıqlı təsirindən öyrənir, nəzarətli təlim isə etiketlənmiş nümunələrdən öyrənir
Nəzarət altında öyrənmə dərhal rəy verir; möhkəmləndirici öyrənmə çox vaxt gecikmiş, az mükafatlarla işləyir
Gücləndirici təlim ardıcıl qərarlarda üstündür; nəzarətli təlim təsnifat və proqnozlaşdırma tapşırıqlarında üstünlük təşkil edir
Bu iki yanaşma mürəkkəb real dünya problemləri üçün hibrid sistemlərdə getdikcə daha çox birləşdirilir.
Gücləndirmə Öyrənməsi nədir?
Agentin ətraf mühitlə qarşılıqlı təsirlər vasitəsilə optimal hərəkətləri öyrəndiyi, qərarlarına əsasən mükafat və ya cəza aldığı maşın öyrənmə paradiqması.
Gücləndirici təlim agentləri statik məlumat dəstlərindən deyil, ətraf mühitlə təkrarlanan sınaq və səhv qarşılıqlı təsirləri vasitəsilə öyrədir.
Əsas mexanizm, agentə düzgün hərəkəti göstərmədən, hərəkətlərinin yaxşı və ya pis olduğunu bildirən bir mükafat siqnalına əsaslanır.
1989-cu ildə Kristofer Uotkins tərəfindən hazırlanmış Q-öyrənmə, bu sahədəki əsas alqoritmlərdən biri olaraq qalır.
Dərin möhkəmləndirmə təlimi Atari oyunlarında fövqəltəbii performans qazanmış və Go və şahmat üzrə dünya çempionlarını məğlub etmişdir.
Görkəmli real həyat tətbiqlərinə robototexnika idarəetməsi, muxtar sürücülük sistemləri və Google-da məlumat mərkəzinin soyutmasının optimallaşdırılması daxildir.
Nəzarət altında öyrənmə nədir?
Modellərin etiketlənmiş təlim məlumatlarından nümunələr öyrəndiyi, girişləri məlum düzgün nəticələrlə əlaqələndirdiyi maşın öyrənmə yanaşması.
Nəzarət altında öyrənmə, hər bir giriş nümunəsinin düzgün cavab və ya hədəf dəyəri ilə birləşdirildiyi etiketli məlumat dəstləri tələb edir.
Ümumi alqoritmlərə xətti reqressiya, qərar ağacları, dəstək vektor maşınları və dərin neyron şəbəkələri daxildir.
Bu yanaşma bu gün praktik süni intellekt tətbiqlərində üstünlük təşkil edir və əksər görüntü tanıma, spam aşkarlama və tibbi diaqnoz sistemlərini gücləndirir.
Təlim məlumatlarının keyfiyyəti modelin performansını birbaşa müəyyən edir və bu da məlumatların etiketlənməsini vacib və çox vaxt bahalı bir addım halına gətirir.
1980-ci illərdə populyarlaşan geri yayılma, əsasən nəzarətli texnikalara əsaslanan müasir dərin öyrənmə inqilabına imkan yaratdı.
Müqayisə Cədvəli
Xüsusiyyət
Gücləndirmə Öyrənməsi
Nəzarət altında öyrənmə
Öyrənmə yanaşması
Ətraf mühitin qarşılıqlı təsiri ilə sınaq və səhv
Etiketlənmiş giriş-çıxış nümunələrindən öyrənmək
Məlumat Tələbləri
Etiketlənmiş məlumatlara ehtiyac yoxdur; mükafatlardan öyrənir
Çoxlu sayda etiketlənmiş təlim məlumatları tələb olunur
Rəy Növü
Gecikmiş mükafat siqnalları (seyrək və ya davamlı)
Hər nümunə üçün dərhal düzgün cavablar
Əsas İstifadə Halları
Oyun oynamaq, robototexnika, muxtar sistemlər, ardıcıl qərarlar
Şəkil təsnifatı, hiss təhlili, saxtakarlığın aşkarlanması, proqnozlaşdırma
Əsas Alqoritmlər
Q-öyrənmə, SARSA, DQN, PPO, A3C
Xətti reqressiya, SVM, təsadüfi meşələr, CNN-lər, transformatorlar
Təlim mühiti
İnteraktiv mühit və ya simulyator
Əvvəlcədən təyin edilmiş etiketləri olan statik məlumat dəsti
Kəşfiyyat
Agent yaxşı strategiyalar tapmaq üçün araşdırma aparmalıdır
Araşdırmaya ehtiyac yoxdur; məlumatlardakı nümunələri izləyir
Nümunə Səmərəliliyi
Çox vaxt milyonlarla qarşılıqlı əlaqə tələb olunur
Ümumiyyətlə, keyfiyyətli etiketlərlə daha səmərəli nümunələr
Təfsir edilə bilənlik
Mükafatlandırma funksiyaları və siyasətləri mürəkkəb ola bilər
Xüsusilə daha sadə modellərlə daha çox şərh edilə bilən
Ətraflı Müqayisə
Əsas Öyrənmə Fəlsəfəsi
Əsas fərq hər bir yanaşmanın bilikləri necə əldə etməsindədir. Nəzarət altında öyrənmə, cavab açarı ilə oxuyan tələbə kimi işləyir və girişləri məlum düzgün nəticələrə uyğunlaşdırmağı öyrənir. Gücləndirici öyrənmə təcrübə yolu ilə öyrənməyə bənzəyir, burada agent hansı hərəkətlərin əlverişli nəticələrə gətirib çıxardığını onları yerinə yetirməklə və nəticələri müşahidə etməklə aşkar edir. Bu fəlsəfi bölgü, məlumat tələblərindən tutmuş alqoritm dizaynına qədər hər şeyi formalaşdırır.
Məlumatlar və Rəy
Nəzarət altında öyrənmə, hazırlanması bahalı və vaxt aparan ola bilən, lakin hər bir təlim nümunəsi üçün aydın və dərhal rəy verən diqqətlə seçilmiş etiketlənmiş məlumat dəstləri tələb edir. Gücləndirici öyrənmə etiketləmə problemini tamamilə kənara qoyur, lakin öz çətinliyini ortaya qoyur: mükafat siqnalı çox vaxt seyrək və gecikir, bu da kredit təyinatını çətinləşdirir. Agent ümumi strategiyasının uğurlu olub-olmadığı barədə hər hansı bir mənalı rəy almadan əvvəl yüzlərlə tədbir görə bilər.
Praktik Tətbiqlər
Nəzarət olunan öyrənmə, məlum nəticələri olan tarixi məlumatların mövcud olduğu sahələrdə üstünlük təşkil edir və tibbi görüntülərdən xəstəliklərin diaqnozu və ya saxta əməliyyatların aşkarlanması kimi təsnifat, reqressiya və nümunə tanıma tapşırıqlarında üstündür. Gücləndirici öyrənmə, robotlara yeriməyi öyrətmək, təchizat zəncirlərini optimallaşdırmaq və ya StarCraft II kimi mürəkkəb oyunları mənimsəmək kimi optimal strategiyanın qarşılıqlı əlaqə yolu ilə kəşf edilməli olduğu ardıcıl qərar qəbuletmə problemlərində parlayır.
Təlim Çətinlikləri
Hər iki yanaşma fərqli maneələrlə üzləşir. Nəzarət altında öyrənmə, modellərin təlim nümunələrindən fərqli məlumatlar üzərində zəif nəticə göstərdiyi və etiketlənmiş məlumatlarda mövcud olan qərəzlilikləri davam etdirə biləcəyi paylanma dəyişikliyi ilə mübarizə aparır. Gücləndirici öyrənmə, araşdırma-istismar kompromissi, nümunənin səmərəsizliyi və gözlənilməz nəticələr olmadan istənilən davranışı əks etdirən mükafat funksiyalarının dizaynının çətinliyi ilə mübarizə aparır. Təlim sabitliyi hər iki paradiqma üçün aktiv tədqiqat sahəsi olaraq qalır.
Performans və Ölçülənlik
Nəzarət olunan təlim, BERT və GPT kimi əvvəlcədən təlim keçmiş modellərin diqqətəlayiq transfer öyrənmə imkanları nümayiş etdirməsi ilə yüksək miqyaslı bir sahəyə çevrilmişdir. Gücləndirici təlim mürəkkəb mühitlər üçün əhəmiyyətli hesablama resursları tələb edir, baxmayaraq ki, AlphaGo və AlphaZero kimi irəliləyişlər müəyyən sahələrdə fövqəltəbii performansa nail ola biləcəyini göstərmişdir. Hər iki yanaşma getdikcə hər birinin güclü tərəflərindən istifadə edən hibrid sistemlərdə birləşdirilir.
Üstünlüklər və Eksikliklər
Gücləndirmə Öyrənməsi
Üstünlüklər
+Etiketlənmiş məlumatlar olmadan öyrənir
+Ardıcıl qərarları yaxşı qəbul edir
+Yeni strategiyalar kəşf edə bilər
+Dinamik mühitlərə uyğunlaşır
Saxlayıcı
−Nümunə səmərəsizdir
−Mükafat dizaynı çətindir
−Təlim qeyri-sabit ola bilər
−Hesablama baxımından bahadır
Nəzarət altında öyrənmə
Üstünlüklər
+Təlim siqnalını aydınlaşdırın
+Yetkin alətlər və metodlar
+Güclü proqnoz dəqiqliyi
+Qiymətləndirmək daha asandır
Saxlayıcı
−Etiketlənmiş məlumatlar tələb olunur
−Ardıcıl tapşırıqlarla zəif
−Məlum nümunələrlə məhdudlaşıb
−Təlim məlumatlarından qərəzlilik
Yaygın yanlış anlaşılmalar
Əfsanə
Gücləndirici təlim həmişə nəzarətli təlimdən daha çox məlumat tələb edir.
Həqiqət
Möhkəmləndirmə öyrənməsi çox vaxt bir çox qarşılıqlı əlaqə tələb etsə də, müqayisə sadə deyil. Tək bir etiketli şəkil nəzarətli bir modeli öyrədə bilər, lakin möhkəmləndirmə öyrənmə agentləri bəzən yaxşı dizayn edilmiş mühitlərdə nisbətən az epizoddan səmərəli şəkildə öyrənə bilərlər. Əsl problem ondadır ki, möhkəmləndirmə öyrənmə qarşılıqlı təsirləri ardıcıldır və statik məlumat dəstlərini emal etməkdən daha çox paralelləşdirmək daha çətindir.
Əfsanə
Möhkəmləndirici təlimin son uğurları səbəbindən nəzarətli təlim artıq köhnəlib.
Həqiqət
Nəzarət altında öyrənmə praktik süni intellekt tətbiqinin əsas işi olaraq qalır. Tövsiyə mühərriklərindən tibbi diaqnostikaya qədər əksər istehsal sistemləri nəzarət altında yanaşmalara əsaslanır. Gücləndirici öyrənmənin oyunlardakı əsas nailiyyətləri etiketlənmiş məlumatların artıq mövcud olduğu və ardıcıl qərar qəbuletmə tələb olunmadığı əksər biznes tətbiqlərinə tətbiq olunmur.
Əfsanə
Gücləndirici təlim heç bir məlumata ehtiyac duymur.
Həqiqət
Gücləndirilmiş təlim etiketli məlumat dəstləri tələb etməsə də, qarşılıqlı əlaqə üçün hələ də tez-tez gizli məlumatları ehtiva edən və ya simulyasiya tələb edən bir mühitə ehtiyac duyur. Agent öz təlim məlumatlarını araşdırma yolu ilə yaradır, lakin bu məlumatlar hesablama vaxtı və yerləşdirilən sistemlərdə potensial real dünya nəticələri bahasına başa gəlir.
Əfsanə
Nəzarət olunan öyrənmə modelləri həmişə gücləndirici öyrənmə vasitələrindən daha yaxşı ümumiləşdirir.
Həqiqət
Ümumiləşdirmə problemdən və tətbiqdən asılıdır. Müxtəlif ssenarilər üzrə təlim keçmiş gücləndirmə öyrənmə agenti olduqca çevik siyasətlər hazırlaya bilər, nəzarət edilən modellər isə təlim məlumatlarından fərqli paylanmalarla qarşılaşdıqda tez-tez uğursuz olur. Hər iki yanaşma paylanmadan kənar nümunələrlə fərqli şəkildə mübarizə aparır.
Əfsanə
Hər hansı bir problem üçün ya nəzarətli, ya da möhkəmləndirilmiş təlim seçməlisiniz.
Həqiqət
Müasir süni intellekt sistemləri tez-tez hər iki yanaşmanı birləşdirir. Robot qavrayış (obyektləri tanımaq) üçün nəzarətli öyrənmədən, nəzarət (hərəkətlərə qərar vermək) üçün isə gücləndirmə öyrənməsindən istifadə edə bilər. Davranış klonlaşdırmasının bir forması olan təqlid öyrənməsi, gücləndirmə öyrənməsini başlatmaq üçün nəzarətli öyrənmədən istifadə edir və nümunə səmərəliliyini əhəmiyyətli dərəcədə artırır.
Tez-tez verilən suallar
Möhkəmləndirici təlimlə nəzarətli təlim arasındakı əsas fərq nədir?
Əsas fərq öyrənmənin necə baş verməsindədir. Nəzarət altında öyrənmə düzgün cavabların verildiyi sabit giriş-çıxış cütlüklərindən ibarət verilənlər bazasından öyrənir. Gücləndirici öyrənmə, düzgün cavabın birbaşa deyilməməsi şərtilə, ətraf mühitlə qarşılıqlı əlaqədə olmaqla və görülən hərəkətlərə əsasən mükafat və ya cəza alaraq öyrənir. Nəzarət altında öyrənməni nümunələrdən öyrənmək, möhkəmləndirmə ilə öyrənməni isə təcrübədən öyrənmək kimi düşünün.
Hansı yanaşma təlim üçün daha çox məlumat tələb edir?
Bu, problemdən asılıdır. Nəzarət altında öyrənmə üçün etiketli nümunələr lazımdır ki, bunların yaradılması baha başa gələ bilər, lakin səmərəli şəkildə işlənir. Gücləndirici öyrənmə əvvəlcədən etiketlənmiş məlumatlara ehtiyac duymur, lakin mürəkkəb tapşırıqları öyrənmək üçün çox vaxt milyonlarla ətraf mühit qarşılıqlı təsirini tələb edir. Bol etiketli məlumatlarla bağlı problemlər üçün nəzarət altında öyrənmə adətən daha çox nümunəyə yönəlmiş olur. Ardıcıl qərar problemləri üçün gücləndirici öyrənmə nümunə aclığına baxmayaraq yeganə mümkün seçim ola bilər.
Möhkəmləndirmə öyrənməsi mükafatlandırma funksiyası olmadan işləyə bilərmi?
Ənənəvi möhkəmləndirmə öyrənməsi, yaxşı davranışın nədən ibarət olduğunu müəyyən etmək üçün əsasən mükafat siqnalı tələb edir. Bununla belə, təqlid öyrənməsi kimi variantlar açıq mükafatlar olmadan ekspert nümayişlərindən öyrənir və tərs möhkəmləndirmə öyrənməsi müşahidə olunan davranışdan mükafat funksiyaları çıxarır. Mükafat funksiyası öyrənmə məqsədini müəyyən etdiyindən, heç bir geribildirim siqnalı olmadan təmiz möhkəmləndirmə öyrənməsi həqiqətən mümkün deyil.
Nəzarət altında öyrənmə möhkəmləndirmə təliminin bir alt hissəsidirmi?
Xeyr, bunlar maşın öyrənməsində fərqli paradiqmalardır, baxmayaraq ki, riyazi əsasları bölüşürlər. Bəzi tədqiqatçılar nəzarətli öyrənməyə hər bir nümunənin itkiyə bərabər dərhal mükafat verdiyi xüsusi bir hal kimi baxırlar. Lakin bu çərçivə universal olaraq qəbul edilmir və iki sahə əsasən fərqli alqoritmlər, tətbiqlər və nəzəri çərçivələrlə müstəqil şəkildə inkişaf etmişdir.
Təsvir tanıma tapşırıqları üçün hansı daha yaxşıdır?
Təsvir tanıma üçün nəzarətli öyrənməyə üstünlük verilir. Etiketlənmiş təsvir məlumat dəstləri ilə öyrədilmiş konvolyusion neyron şəbəkələri və görmə transformatorları təsnifat, aşkarlama və seqmentləşdirmə tapşırıqlarında ən müasir performansa nail olurlar. Gücləndirici öyrənmə vizual naviqasiya və şəkil başlıqları kimi təsvirlə əlaqəli tapşırıqlara tətbiq edilmişdir, lakin bunlar kompüter görməsində nəzarətli yanaşmaların dominantlığı ilə müqayisədə niş tətbiqlərdir.
Dərin öyrənmə hər iki yanaşma ilə necə əlaqəlidir?
Dərin öyrənmə hər iki paradiqma daxilində funksiya təqribçisi kimi xidmət edir. Nəzarətli öyrənmədə dərin neyron şəbəkələri geri yayılma yolu ilə girişləri çıxışlara uyğunlaşdırmağı öyrənir. Dərin gücləndirmə öyrənməsində neyron şəbəkələri funksiyaları və ya siyasətləri təqribi dəyərləndirir və bu da agentlərə xam şəkillər kimi yüksək ölçülü girişləri idarə etməyə imkan verir. CNN və transformator kimi arxitekturalar hər iki kontekstdə görünür, baxmayaraq ki, təlim prosedurları əhəmiyyətli dərəcədə fərqlənir.
Hər birinin məşhur real həyat tətbiqləri hansılardır?
Nəzarət altında öyrənmə əksər süni intellekt sistemlərini gücləndirir: üz tanıma, görüntüləmədən tibbi diaqnoz, e-poçt spam filtrləri, kredit qiymətləndirməsi və səs köməkçiləri. Gücləndirici öyrənmə oyun oynamaqda (AlphaGo, OpenAI Five), robototexnikada (Boston Dynamics-in hərəkəti), muxtar nəqliyyat vasitələrində (qərar qəbuletmə komponentləri) və sənaye optimallaşdırmasında (40% enerji qənaətinə nail olan Google-ın məlumat mərkəzinin soyudulması) nəzərəçarpacaq uğurlar qazanmışdır.
Bu iki yanaşma birləşdirilə bilərmi?
Əlbəttə ki, kombinasiyalı yanaşmalar getdikcə daha çox yayılır. Təqlid öyrənməsi gücləndirmə öyrənməsini başlatmaq üçün ekspert nümayişləri üzərində nəzarətli öyrənmədən istifadə edir. Aktyor-tənqidçi metodları tənqidçi şəbəkəsini yetişdirmək üçün nəzarətli öyrənmədən istifadə edir, gücləndirmə öyrənməsi isə aktyoru yetişdirir. Hibrid sistemlər qavrayış modulları üçün nəzarətli öyrənmədən və qərar qəbuletmə üçün gücləndirmə öyrənməsindən istifadə edərək, hər iki yanaşmadan daha bacarıqlı ümumi sistemlər yarada bilər.
Hökm
Keyfiyyətli etiketli məlumatlara sahib olduğunuz və görüntü tanıma və ya saxtakarlığın aşkarlanması kimi yaxşı müəyyən edilmiş problemlər üzrə proqnozlar və ya təsnifatlar vermək lazım olduqda nəzarətli təlimi seçin. Optimal strategiyanın robototexnika, oyun oynamaq və ya real vaxt optimallaşdırma tapşırıqları kimi qarşılıqlı təsir yolu ilə kəşf edilməli olduğu dinamik mühitlərdə ardıcıl qərar qəbuletmə ilə məşğul olarkən gücləndirilmiş təlimi seçin.
