Aktsionär-kriitiku meetodid ühendavad poliitikagradiente õpitud väärtusfunktsiooniga, et vähendada dispersiooni ja kiirendada õppimist, samas kui puhta poliitikagradiendi meetodid tuginevad ainult poliitikale ja Monte Carlo tulemustele. Nende vahel valik sõltub sellest, kas vajate stabiilsust ja valimi efektiivsust või lihtsust ja erapooletuid hinnanguid.
Hübriidsed tugevdusõppe algoritmid, mis seovad poliitikavõrgustiku (tegutseja) väärtust hindava võrgustikuga (kriitik) stabiilsema treeningu saavutamiseks.
Tugevdusõppe algoritmid, mis optimeerivad parameetriga poliitikat otse, kasutades eeldatava tootluse gradiendi tõusu, ilma eraldi väärtusmudelita.
| Funktsioon | Näitleja-kriitiku meetodid | Puhta poliitikagradiendi meetodid |
|---|---|---|
| Põhimehhanism | Kombineerib poliitikavõrgustiku (tegutseja) väärtusvõrgustikuga (kriitik) | Optimeerib poliitikat otse valimipõhiste tulude abil |
| Gradiendi hinnangute dispersioon | Väiksem dispersioon tänu õpitud baasjoonele | Suurem dispersioon Monte Carlo tootlustest |
| Eelarvamus | Kriitiku lähendusest tulenev kerge eelarvamus | Erapooletud gradiendi hinnangud |
| Proovi efektiivsus | Üldiselt kõrgem, taaskasutab andmeid alglaadimise teel | Madalam, nõuab terveid episoode või palju sämpli |
| Rakendamise keerukus | Keerulisem, nõuab kahe võrgu treenimist | Lihtsam, hallata ainult ühte võrku |
| Treeningu stabiilsus | Stabiilsem tänu väiksemale dispersioonile ja usalduspiirkondadele | Vähem stabiilne, tundlik õppimiskiiruse ja tasu skaala suhtes |
| Uurimistöö käitlemine | Võib sisaldada entroopiaboonuseid või stohhastilisi kriitikuid | Loomulikult stohhastiline, kergesti uurimist soodustav |
| Tüüpilised kasutusjuhud | Keelemudelite jaoks mõeldud suuremahuline RL, robootika, RLHF | Lihtsad kontrollülesanded, uurimisalused, episoodilised probleemid |
Nende kahe meetodiperekonna suurim praktiline erinevus seisneb selles, kuidas nad hindavad parenduste suunda. Puhtad poliitilise gradiendi meetodid tuginevad Monte Carlo tulemustele, mis on kogutud täielikest episoodidest, mis annab erapooletu signaali, kuid kõigub suuresti sõltuvalt iga üksiku kasutuselevõtu õnnestumisest. Tegutseja-kriitika meetodid asendavad selle mürase tulemuse õpitud väärtusfunktsiooniga, lahutades sisuliselt baasjoone, mis kajastab oodatavat tulemust. Tulemuseks on palju väiksema dispersiooniga gradient, mis võimaldab treenimisel sujuvamalt kulgeda, eriti keskkondades, kus hüved on napid või hilinenud.
Dispersiooni kauplemine eelarvamuse korral on tegelane-kriitiku disaini keskne kompromiss. Kriitik ise on ligikaudne väärtus, seega võivad selle hinnangud olla valed ja see viga kandub üle poliitika uuendamisse. Puhtad poliitika gradiendi meetodid väldivad seda täielikult, kuna nad ei lähenda kunagi väärtusfunktsiooni, kuid maksavad selle puhtuse eest mürarikkamate uuendustega. Praktikas saavad tänapäevased tegelane-kriitiku algoritmid, nagu PPO ja SAC, selle kompromissiga nii hästi hakkama, et väike eelarvamus on harva probleemiks, mistõttu nad domineerivad võrdlusalustes.
Valimi efektiivsus on tohutult oluline, kui keskkonnaga suhtlemine on kulukas, näiteks robootikas või reaalse maailma dialoogisüsteemides. Aktsionär-kriitiku meetodid säravad siin, sest kriitik lähtub omaenda ennustustest, võimaldades algoritmil igast üleminekust mitu korda õppida. Puhtad poliitikagradiendi meetodid vajavad üldiselt iga värskenduse jaoks uusi poliitikakohaseid andmeid, mis tähendab sama poliitika täiustuse korral rohkem keskkonnainteraktsioone. See on üks põhjus, miks REINFORCE-stiilis algoritmid on levinumad uurimiskeskkondades, kus simulatsioon on odav.
Kui soovite midagi kiiresti prototüübi loomiseks, on puhtad poliitikagradiendi meetodid atraktiivsed. Teil on vaja ainult poliitikavõrgustikku, logaritmilistest tõenäosustest, mis on kaalutud tootlusega, ehitatud kahjumifunktsiooni ja viisi trajektooride kogumiseks. Aktsionär-kriitiku meetodid lisavad teise võrgu treenimise koormuse, tasakaalustades selle õppimiskiirust aktori omaga ning tagades, et kriitik koondub piisavalt kiiresti, et olla kasulik. See lisakeerukus tasub end jõudluses ära, kuid tõstab lati uute tulijate jaoks.
Mõlemad lähenemisviisid käsitlevad stohhastilisi poliitikaid loomulikult, kuid soodustavad uurimist erinevalt. Puhtad poliitikagradiendi meetodid saavad uurimise tasuta poliitika enda entroopiast, mis toimib hästi selgete tegevusjaotuste korral. Aktor-kriitik meetodid lisavad eesmärgile sageli selgesõnalise entroopiaboonuse, nagu pehme aktor-kriitik kuulsalt teeb, et hoida poliitika liiga vara kokku varisemast. See muudab aktor-kriitik variandid robustsemaks ülesannetes, kus agent võiks muidu jääda kinni optimaalsest väiksematesse käitumistesse.
Aktor-kriitiku meetodid on poliitikagradienditest täiesti erinev algoritmide perekond.
Tegutseja-kriitiku meetodid on tegelikult poliitikagradiendi meetodite alamhulk. Need arvutavad sama poliitikagradiendi, kuid kasutavad dispersiooni vähendamiseks õpitud väärtusfunktsiooni, selle asemel et tugineda toorandmetele.
Puhtad poliitikagradiendi meetodid koonduvad alati kiiremini, kuna need on erapooletud.
Erapooletus ei ole võrdne kiire lähenemisega. Monte Carlo hinnangute suur dispersioon aeglustab treeningut sageli dramaatiliselt, eriti pika horisondiga ülesannete puhul, kus tasu saabumine viibib.
Näitleja-kriitiku meetodid ei saa töötada pidevate tegevusruumidega.
Paljud näitleja-kriitiku algoritmid, sealhulgas SAC ja DDPG, on spetsiaalselt loodud pidevaks juhtimiseks ning toimivad robootikas ja füüsikal põhinevas simulatsioonis äärmiselt hästi.
Tugevdusõppe edukaks sooritamiseks on alati vaja kriitikut.
Puhtalt poliitilise gradiendi meetodid nagu REINFORCE ja TRPO on lahendanud palju probleeme ilma kriitikuta. Kriitik on dispersiooni vähendamise tööriist, mitte range nõue.
PPO on puhas poliitikagradiendi meetod.
PPO on tehniliselt näitleja-kriitiku algoritm. See kasutab poliitika poolel kärbitud asenduseesmärki, kuid eeliste arvutamiseks ja uuenduste suunamiseks tugineb see väärtusvõrgustikule.
Valige puhtad poliitikagradiendi meetodid, kui soovite lihtsat ja erapooletut algoritmi lühiajaliste probleemide jaoks või puhta uurimisalusena. Kasutage näitleja-kriitiku meetodeid alati, kui olete huvitatud valimi efektiivsusest, treenimise stabiilsusest või skaleerimisest keerukatesse keskkondadesse, nagu robootika ja suurte keelemudelite peenhäälestus.
Mudeliteenuse A/B-testimine suunab liiklust konkureerivate mudeliversioonide vahel, et mõõta reaalset toimivust, samas kui ühe mudeli juurutamine saadab kõigile kasutajatele ühe mudeli. Meeskonnad valivad nende vahel riskitaluvuse, liiklusmahu ja statistilise valideerimise vajaduse alusel enne täielikku juurutamist.
Sisuväljaannete A/B-testimine hõlmab variatsioonide levitamist erinevatele sihtrühmadele ja tulemuslikkuse mõõtmist, samas kui ühekordsed sisuväljaanded suunavad ühe versiooni korraga kõigile. Igal lähenemisviisil on erinevad eesmärgid, kusjuures A/B-testimine eelistab andmepõhist optimeerimist ja ühekordsed väljaanded seavad esikohale kiiruse ja lihtsuse.
See detailne võrdlus uurib adaptiivsete intelligentsete mootorite arhitektuurilisi erinevusi, operatsioonilisi piiranguid ja reaalset jõudlust võrreldes fikseeritud käitumisega automatiseerimissüsteemidega. Vaatleme, kuidas süsteemid, mis pidevalt õpivad uutest keskkonnaandmetest, sobivad kokku jäikade ja ennustatavate reeglipõhiste raamistikega.
Adaptiivne otsing kohandab dünaamiliselt, kuidas ja millist teavet süsteem päringu põhjal hangib, samas kui staatilised otsingukanalid järgivad fikseeritud reegleid olenemata kontekstist. Mõlemad toetavad tänapäevaseid tehisintellekti rakendusi, kuid erinevad oluliselt paindlikkuse, maksumuse ja täpsuse poolest. Nende vahel valimine sõltub töökoormuse keerukusest ja eelarvest.
Agentide koolitamine keskkondades hõlmab õppimist reaalajas simuleeritud või füüsilise keskkonnaga suhtlemise kaudu, samas kui võrguühenduseta andmestiku koolitamine tugineb eelnevalt kogutud andmetele ilma täiendava keskkonnale juurdepääsuta. Mõlemad lähenemisviisid treenivad masinõppe mudeleid, kuid erinevad põhimõtteliselt selle poolest, kuidas agendid kogemusi koguvad ja jõudlust parandavad.
