Tugevdusõpe ja juhendatud õpe esindavad kahte põhimõtteliselt erinevat lähenemisviisi masinõppe mudelite treenimisele. Kui juhendatud õpe tugineb mudelitele õigete vastuste õpetamiseks märgistatud andmekogumitele, siis tugevdusõpe treenib agente katse-eksituse meetodil keskkonnaga suhtlemise kaudu, mida juhivad preemiad ja karistused.
Esiletused
Tugevdusõpe õpib keskkonna interaktsioonist, juhendatud õpe aga märgistatud näidetest
Juhendatud õpe annab kohest tagasisidet; tugevdusõpe toimib sageli hilinenud ja nappide tasudega.
Tugevdusõpe on järjestikuste otsuste tegemisel silmapaistev; juhendatud õpe domineerib klassifitseerimis- ja ennustamisülesannetes
Neid kahte lähenemisviisi kombineeritakse üha enam hübriidsüsteemides keerukate reaalsete probleemide lahendamiseks.
Mis on Tugevdusõpe?
Masinõppe paradigma, kus agent õpib optimaalseid tegevusi keskkonna interaktsioonide kaudu, saades oma otsuste põhjal preemiaid või karistusi.
Tugevdusõpe treenib agente korduvate katse-eksituse meetodil toimuvate interaktsioonide kaudu keskkonnaga, mitte staatiliste andmekogumite abil.
Põhimehhanism tugineb tasusignaalile, mis ütleb agendile, kas tema teod olid head või halvad, täpsustamata õiget tegevust.
Christopher Watkinsi poolt 1989. aastal välja töötatud Q-õpe on endiselt üks valdkonna alustalasid.
Sügav tugevdusõpe saavutas Atari mängudes kuulsalt üliinimliku jõudluse ning alistas maailmameistrid Go-s ja malemängus.
Märkimisväärsete reaalsete rakenduste hulka kuuluvad robootika juhtimine, autonoomsed sõidusüsteemid ja andmekeskuste jahutuse optimeerimine Google'is.
Juhendatud õpe nõuab märgistatud andmekogumeid, kus iga sisendnäide on seotud õige vastuse või sihtväärtusega.
Levinud algoritmide hulka kuuluvad lineaarne regressioon, otsustuspuud, tugivektormasinad ja sügavad närvivõrgud.
See lähenemisviis domineerib tänapäeval praktilistes tehisintellekti rakendustes, andes jõudu enamikule pildituvastuse, rämpsposti tuvastamise ja meditsiinilise diagnoosimise süsteemidele.
Andmete kvaliteedi koolitamine määrab otseselt mudeli toimivuse, mistõttu on andmete märgistamine kriitilise tähtsusega ja sageli kulukas samm.
1980. aastatel populariseeritud tagasilevitamise meetod võimaldas tänapäevast süvaõppe revolutsiooni, mis põhines suuresti juhendatud tehnikatel.
Võrdlustabel
Funktsioon
Tugevdusõpe
Juhendatud õpe
Õppimisviis
Katse-eksituse meetod keskkonna interaktsiooni kaudu
Staatiline andmestik eelnevalt määratletud siltidega
Uurimine
Agent peab heade strateegiate leidmiseks uurima
Uurimist pole vaja; järgib andmete mustreid
Proovi efektiivsus
Sageli nõuab see miljoneid interaktsioone
Üldiselt on kvaliteedimärgistega valimite võtmise efektiivsus suurem
Tõlgendatavus
Preemiafunktsioonid ja -poliitika võivad olla keerulised
Sageli paremini tõlgendatav, eriti lihtsamate mudelite puhul
Üksikasjalik võrdlus
Põhiõppe filosoofia
Põhiline erinevus seisneb selles, kuidas iga lähenemisviis teadmisi omandab. Juhendatud õpe toimib nagu õpilane, kes õpib vastuste võtmega, õppides sisendeid seostama teadaolevate õigete väljunditega. Tugevdusõpe sarnaneb õppimisega kogemuse kaudu, kus agent avastab, millised toimingud viivad soodsate tulemusteni, neid tegelikult sooritades ja tagajärgi jälgides. See filosoofiline lõhe kujundab kõike alates andmenõuetest kuni algoritmi kujundamiseni.
Andmed ja tagasiside
Juhendatud õpe nõuab hoolikalt kureeritud sildistatud andmekogumeid, mille loomine võib olla kulukas ja aeganõudev, kuid mis pakuvad iga treeningnäite kohta selget ja kohest tagasisidet. Tugevdusõpe väldib sildistamise probleemi täielikult, kuid toob kaasa omaenda väljakutse: preemiasignaal on sageli hõre ja hilinenud, mis muudab krediitide määramise keeruliseks. Agent võib enne sisuka tagasiside saamist selle kohta, kas tema üldine strateegia oli edukas, teha sadu toiminguid.
Praktilised rakendused
Juhendatud õpe domineerib tööstusharudes, kus on olemas ajaloolised andmed teadaolevate tulemustega, paisttes silma klassifitseerimise, regressiooni ja mustrituvastuse ülesannetes, nagu haiguste diagnoosimine meditsiiniliste piltide põhjal või petturlike tehingute tuvastamine. Tugevdusõpe särab järjestikuste otsustusprobleemide puhul, kus optimaalne strateegia tuleb leida interaktsiooni kaudu, näiteks robotite kõndima õpetamisel, tarneahelate optimeerimisel või keerukate mängude, näiteks StarCraft II, valdamisel.
Treeningväljakutsed
Mõlemad lähenemisviisid seisavad silmitsi erinevate takistustega. Juhendatud õpe on hädas jaotuse nihkega, kus mudelid toimivad treeningnäidetest erinevate andmete puhul halvasti, ning võib säilitada märgistatud andmetes esinevaid eelarvamusi. Tugevdusõpe maadleb uurimise ja ärakasutamise kompromissiga, valimi ebaefektiivsusega ja raskustega kujundada tasufunktsioone, mis tabavad soovitud käitumist ilma ettenägematute tagajärgedeta. Treeningu stabiilsus jääb mõlema paradigma aktiivseks uurimisvaldkonnaks.
Jõudlus ja skaleeritavus
Juhendatud õpe on küpsenud väga skaleeritavaks distsipliiniks, kus eelkoolitatud mudelid nagu BERT ja GPT demonstreerivad märkimisväärseid ülekandeõppe võimeid. Tugevdusõpe nõuab keerulistes keskkondades märkimisväärseid arvutusressursse, kuigi läbimurded nagu AlphaGo ja AlphaZero on näidanud, et see suudab teatud valdkondades saavutada üliinimlikke tulemusi. Neid kahte lähenemisviisi kombineeritakse üha enam hübriidsüsteemides, mis kasutavad ära mõlema tugevusi.
Plussid ja miinused
Tugevdusõpe
Eelised
+Õpib ilma sildistatud andmeteta
+Saab järjestikuste otsustega hästi hakkama
+Võib avastada uusi strateegiaid
+Kohandub dünaamiliste keskkondadega
Kinnitatud
−Valim ebaefektiivne
−Auhinnakujundus on keeruline
−Treening võib olla ebastabiilne
−Arvutuslikult kallis
Juhendatud õpe
Eelised
+Selge treeningsignaal
+Küpsed tööriistad ja meetodid
+Tugev ennustuse täpsus
+Lihtsam hinnata
Kinnitatud
−Nõuab märgistatud andmeid
−Järjestikuste ülesannetega kehv
−Piiratud teadaolevate mustritega
−Treeningandmetest tulenev eelarvamus
Tavalised eksiarvamused
Müüt
Tugevdusõpe vajab alati rohkem andmeid kui juhendatud õpe.
Tõelisus
Kuigi tugevdusõpe nõuab sageli palju interaktsioone, pole võrdlus lihtne. Üksainus sildistatud pilt saab õpetada juhendatud mudelit, kuid tugevdusõppe agendid saavad mõnikord hästi disainitud keskkondades tõhusalt õppida suhteliselt vähestest episoodidest. Tegelik probleem on selles, et tugevdusõppe interaktsioonid on järjestikused ja neid on raskem paralleelselt viia kui staatiliste andmekogumite töötlemist.
Müüt
Juhendatud õpe on tugevdusõppe hiljutiste edusammude tõttu vananenud.
Tõelisus
Juhendatud õpe jääb tehisintellekti praktilise rakendamise tööhobuseks. Enamik tootmissüsteeme, alates soovitusmootoritest kuni meditsiinilise diagnostikani, tuginevad juhendatud lähenemisviisidele. Tugevdusõppe peamised saavutused mängudes ei ole ülekantavad enamiku ärirakenduste puhul, kus märgistatud andmed on juba olemas ja järjestikust otsuste langetamist pole vaja.
Müüt
Tugevdusõpe ei vaja üldse andmeid.
Tõelisus
Kuigi tugevdusõpe ei vaja sildistatud andmekogumeid, vajab see siiski suhtlemiseks keskkonda, mis sageli sisaldab kaudseid andmeid või nõuab simulatsiooni. Agent genereerib uurimise kaudu oma treeningandmed, kuid need andmed tulevad arvutusaja ja võimalike reaalsete tagajärgede hinnaga juurutatud süsteemides.
Müüt
Juhendatud õppe mudelid üldistavad alati paremini kui tugevdusõppe agendid.
Tõelisus
Üldistamine sõltub probleemist ja rakendusest. Erinevate stsenaariumide jaoks treenitud tugevdusõppe agent suudab välja töötada märkimisväärselt paindlikke poliitikaid, samas kui juhendatud mudelid ebaõnnestuvad sageli, kui nad puutuvad kokku treeningandmetest erinevate jaotustega. Mõlemad lähenemisviisid näevad jaotusväliste näidetega erineval moel vaeva.
Müüt
Iga probleemi puhul tuleb valida kas juhendatud või tugevdusõpe.
Tõelisus
Kaasaegsed tehisintellekti süsteemid kombineerivad sageli mõlemat lähenemisviisi. Robot võib tajumiseks (objektide äratundmiseks) kasutada juhendatud õpet ja kontrollimiseks (liigutuste otsustamiseks) tugevdusõpet. Imitatsioonõpe, mis on käitumise kloonimise vorm, kasutab juhendatud õpet tugevdusõppe käivitamiseks, parandades oluliselt valimi efektiivsust.
Sageli küsitud küsimused
Mis on peamine erinevus tugevdusõppe ja juhendatud õppe vahel?
Põhiline erinevus seisneb selles, kuidas õppimine toimub. Juhendatud õpe õpib fikseeritud sisend-väljund paaride andmestikust, kus on ette antud õiged vastused. Tugevdusõpe õpib keskkonnaga suheldes ja tehtavate tegevuste eest preemiaid või karistusi saades, ilma et õiget vastust otse öeldaks. Mõelge juhendatud õppest kui näidetest õppimisest ja tugevdusõppest kui kogemusest õppimisest.
Millise lähenemisviisi treenimiseks on vaja rohkem andmeid?
See sõltub probleemist. Juhendatud õpe vajab märgistatud näiteid, mille loomine võib olla kulukas, kuid mida töödeldakse tõhusalt. Tugevdusõpe ei vaja eelnevalt märgistatud andmeid, kuid keerukate ülesannete õppimiseks on sageli vaja miljoneid keskkonnainteraktsioone. Rohkete märgistatud andmetega probleemide korral on juhendatud õpe tavaliselt valimipõhiselt efektiivsem. Järjestikuste otsustusülesannete puhul võib tugevdusõpe olla ainus elujõuline variant, hoolimata selle valimivajadusest.
Kas tugevdusõpe saab toimida ilma preemiafunktsioonita?
Traditsiooniline tugevdusõpe nõuab põhimõtteliselt tasusignaali, et määratleda, mis on hea käitumine. Sellised variandid nagu imitatsioonõpe õpivad aga ekspertide demonstratsioonidest ilma selgesõnalise tasuta ja pöördtugevdusõpe järeldab tasufunktsioone vaadeldava käitumise põhjal. Puhas tugevdusõpe ilma tagasisidesignaalita pole tegelikult võimalik, kuna tasufunktsioon määratleb õppimise eesmärgi.
Kas juhendatud õpe on tugevdusõppe alamhulk?
Ei, need on masinõppes erinevad paradigmad, kuigi neil on ühised matemaatilised alused. Mõned teadlased peavad juhendatud õpet erijuhuks, kus iga näide pakub kohest tasu, mis on võrdne kaotusega. See lähenemisviis ei ole aga universaalselt aktsepteeritud ning need kaks valdkonda arenesid suures osas iseseisvalt, kasutades erinevaid algoritme, rakendusi ja teoreetilisi raamistikke.
Kumb on pildituvastuse ülesannete jaoks parem?
Kujutiste tuvastamisel eelistatakse valdavalt juhendatud õpet. Märgistatud pildiandmestikega treenitud konvolutsioonilised närvivõrgud ja nägemistransformaatorid saavutavad klassifitseerimise, tuvastamise ja segmenteerimise ülesannetes tipptasemel jõudluse. Tugevdusõpet on rakendatud piltidega seotud ülesannete, näiteks visuaalse navigeerimise ja piltide subtiitrite loomise puhul, kuid need on niširakendused võrreldes arvutinägemises domineerivate juhendatud lähenemisviisidega.
Kuidas on sügav õppimine seotud mõlema lähenemisviisiga?
Süvaõpe toimib mõlemas paradigmas funktsioonide lähendajana. Juhendatud õppes õpivad süvanärvivõrgud sisendeid väljunditeks kaardistama tagasilevitamise teel. Süva tugevdusõppes lähendavad närvivõrgud väärtusfunktsioone või -poliitikaid, võimaldades agentidel käsitleda kõrgmõõtmelisi sisendeid, näiteks toorpilte. Arhitektuurid nagu CNN-id ja transformaatorid esinevad mõlemas kontekstis, kuigi treeningprotseduurid erinevad oluliselt.
Millised on igaühe kuulsad reaalmaailma rakendused?
Juhendatud õpe annab jõudu enamikele kasutatavatele tehisintellekti süsteemidele: näotuvastus, piltide abil meditsiiniline diagnoosimine, rämpsposti filtrid, krediidiskoor ja häälassistendid. Tugevdusõpe on saavutanud märkimisväärset edu mängude mängimisel (AlphaGo, OpenAI Five), robootikas (Boston Dynamicsi vedur), autonoomsetes sõidukites (otsuse tegemise komponendid) ja tööstuslikus optimeerimises (Google'i andmekeskuse jahutus, mis saavutas 40% energiasäästu).
Kas neid kahte lähenemisviisi saab kombineerida?
Absoluutselt, ja kombineeritud lähenemisviisid on üha tavalisemad. Imitatsioonõpe kasutab juhendatud õpet ekspertide demonstratsioonidel, et käivitada tugevdusõpe. Näitleja-kriitiku meetodid kasutavad juhendatud õpet kriitikuvõrgustiku treenimiseks, samas kui tugevdusõpe treenib näitlejat. Hübriidsüsteemid võivad kasutada juhendatud õpet taju moodulite jaoks ja tugevdusõpet otsuste tegemiseks, luues võimekamaid üldsüsteeme kui kumbki lähenemisviis eraldi.
Otsus
Valige juhendatud õpe, kui teil on kvaliteetseid andmeid ja peate tegema ennustusi või klassifitseerima täpselt määratletud probleeme, näiteks piltide tuvastamine või pettuste avastamine. Valige tugevdusõpe, kui tegemist on järjestikuse otsuste tegemisega dünaamilistes keskkondades, kus optimaalne strateegia tuleb leida interaktsiooni kaudu, näiteks robootika, mängude või reaalajas optimeerimisülesannete puhul.
