Poliitikapõhine ja poliitikaväline õppimine on kaks peamist lähenemisviisi tugevdusõppes, mis erinevad selle poolest, kuidas agendid kogemusi koguvad ja kasutavad. Poliitikapõhised meetodid õpivad agendi tegelikest tegevustest, samas kui poliitikavälised meetodid saavad õppida teiste poliitikate või varasema käitumise kogutud andmetest.
Tugevdusõppe lähenemisviis, mille puhul agent õpib toimingutest, mida ta praegu sama täiustatava poliitika alusel teeb.
Tugevdusõppe lähenemisviis, mille puhul agent õpib kogemustest, mis on loodud optimeeritavast erineva poliitika abil.
| Funktsioon | Poliitikapõhine õppimine | Poliitikaväline õppimine |
|---|---|---|
| Andmeallikas | Ainult praeguse poliitika alusel | Mis tahes poliitika või ajaloolised andmed |
| Proovi efektiivsus | Madalam, vajab värskeid andmeid | Kõrgem, taaskasutab varasemaid kogemusi |
| Treeningu stabiilsus | Üldiselt stabiilsem | Võib olla vähem stabiilne jaotusnihke tõttu |
| Uurimine | Seotud kehtiva poliitikaga | Käitumispoliitikast lahutatud |
| Näidisalgoritmid | SARSA, PPO, A2C, TUGEVDA | Q-õpe, DQN, DDPG, SAC, TD3 |
| Mälunõuded | Madalam, korduspuhvrit pole vaja | Kõrgem, nõuab suuri korduspuhvreid |
| Levinumad kasutusjuhud | Mängu tehisintellekt, robootika simulatsioon, keelemudelid | Robootika, soovitussüsteemid, autonoomne juhtimine |
| Eelarvamuse ja dispersiooni kompromiss | Väiksem dispersioon, teatav eelarvamus | Väiksem eelarvamus, suurem dispersioon |
Põhiline erinevus seisneb selles, milline poliitika treeningandmeid genereerib. Poliitikapõhine õppimine hindab ja täiustab uurimise ajal järgitavat täpset poliitikat, mis tähendab, et iga uuendus peegeldab toiminguid, mida agent tegelikult teeks. Poliitikaväline õppimine eraldab need mured täielikult, võimaldades agendil õppida optimaalset käitumist andmetest, mis võivad olla kogutud tema enda vanema versiooni, juhusliku poliitika või isegi inimdemonstraatori poolt.
Poliitikavälised meetodid on suurepärased siis, kui andmed on kallid või napid. Üleminekuid salvestades korduspuhvrisse ja sellest korduvalt valimi võttes, saavad algoritmid nagu DQN ja SAC igast keskkonnaga suhtlemisest maksimaalse õppeväärtuse ammutada. Poliitikapõhised meetodid loobuvad tavaliselt andmetest pärast ühekordset kasutamist, mis toimib hästi odavates simulatsioonikeskkondades, kuid muutub ebapraktiliseks, kui iga interaktsioon maksab reaalajas või raha, näiteks füüsilises robootikas.
Poliitikapõhised lähenemisviisid pakuvad üldiselt prognoositavamat lähenemist, kuna optimeeritav poliitika genereerib alati andmeid, mis välistab jaotuse ebakõla. Poliitikavälised meetodid seisavad silmitsi jaotuse nihke probleemiga, kus andmejaotus erineb praeguse poliitika tulemusest, põhjustades mõnikord ebastabiilsust või lahknemist. Sellised meetodid nagu sihtvõrgustikud, olulisuse valim ja poliitikapiirangud aitavad neid probleeme leevendada, kuid lisavad keerukust.
Poliitikapõhise õppimise puhul on uurimine oma olemuselt seotud praeguse poliitikaga, mis saavutatakse sageli stohhastilise tegevusvaliku või entroopiaboonuste kaudu. Poliitikaväline õppimine lahutab uurimise õppimisest, võimaldades eraldi käitumispoliitikaid, mis saavad laialdaselt uurida, samal ajal kui sihtpoliitika õpib ära kasutama. See eraldamine võimaldab keerukaid uurimisstrateegiaid, nagu epsilon-ahne käitumispoliitika kahanevate ajakavadega või uudishimust juhitud käitumispoliitikad.
Poliitikapõhised meetodid domineerivad valdkondades, kus simulatsioon on odav ja stabiilsus on oluline, näiteks mänguagentide treenimine ja suurte keelemudelite peenhäälestamine RLHF-i abil. Poliitikavälised meetodid on suurepärased robootikas, kus reaalse maailma andmete kogumine on kulukas, ja soovitussüsteemides, kus massiivsed kasutajainteraktsioonide logid pakuvad rikkalikke treeningandmeid. Valik sõltub sageli sellest, kas teil on rikkalikult simulatsiooni või väärtuslikke reaalse maailma andmeid.
Poliitikaväline õppimine on alati parem, sest see taaskasutab andmeid.
Kuigi poliitikast sõltumatud meetodid on valimite efektiivsemad, kannatavad nad sageli treeningu ebastabiilsuse all ja nõuavad tehnikate, näiteks sihtvõrkude ja olulisuse valimite hoolikat häälestamist. Poliitikast lähtuvad meetodid suudavad poliitikast sõltumatuid lähenemisviise paremini läbi lüüa keskkondades, kus simulatsioon on odav ja stabiilsus on esmatähtis.
Poliitikapõhine õppimine ei saa kasutada varasemaid andmeid.
Poliitikapõhised meetodid saavad tehniliselt kasutada varasemaid andmeid, kuid see nõuab olulisuse valimi korrigeerimist, mis põhjustab suurt dispersiooni. Praktikas toimivad need kõige paremini praeguse poliitika värskete andmetega, mistõttu algoritmid nagu PPO koguvad väljalaskeid, treenivad nende põhjal ja loobuvad neist.
Q-õpe on poliitikast väljas, kuna see õpib optimaalset tegevusväärtust.
Q-õpe liigitatakse poliitikaväliseks, kuna see õpib optimaalse poliitika kohta, järgides uurimise ajal potentsiaalselt erinevat käitumispoliitikat. Sihtmärk, millelt see alglaadimise ajal lähtub, eeldab ahnet tegevuste valikut, mis võib erineda andmete genereerimiseks tegelikult tehtud tegevustest.
Kõik süvaõppe algoritmid on poliitikavälised.
Paljud populaarsed süvaõppe algoritmid on poliitikapõhised, sealhulgas PPO, A2C ja TRPO. Poliitikapõhise ja poliitikavälise algoritmi eristamine eksisteerib sõltumatult sellest, kas kasutatakse närvivõrke, ja mõlemal kategoorial on edukad süvaõppe rakendused.
Poliitikaväline õppimine koondub alati kiiremini kui poliitikapõhine õppimine.
Konvergentsi kiirus sõltub keskkonnast ja implementatsioonist. Poliitikavälised meetodid võivad vajada vähem keskkonnainteraktsioone, kuid sageli vajavad nad rohkem gradientvärskendusi ja hoolikat hüperparameetrite häälestamist. Mõnes ülesandes jõuavad poliitikapõhised meetodid heade poliitikateni kiiremini kui seinakell, hoolimata suurema hulga näidiste kasutamisest.
Valige poliitikapõhine õpe, kui vajate treeningu stabiilsust ja teil on juurdepääs odavatele simulatsioonikeskkondadele, eriti selliste ülesannete jaoks nagu mängu tehisintellekt või poliitikagradiendi meetodid keelemudelites. Valige poliitikaväline õpe, kui valimi efektiivsus on kriitilise tähtsusega, andmete kogumine on kallis või peate õppima olemasolevatest andmekogumitest, näiteks demonstratsioonidest või logitud interaktsioonidest.
Mudeliteenuse A/B-testimine suunab liiklust konkureerivate mudeliversioonide vahel, et mõõta reaalset toimivust, samas kui ühe mudeli juurutamine saadab kõigile kasutajatele ühe mudeli. Meeskonnad valivad nende vahel riskitaluvuse, liiklusmahu ja statistilise valideerimise vajaduse alusel enne täielikku juurutamist.
Sisuväljaannete A/B-testimine hõlmab variatsioonide levitamist erinevatele sihtrühmadele ja tulemuslikkuse mõõtmist, samas kui ühekordsed sisuväljaanded suunavad ühe versiooni korraga kõigile. Igal lähenemisviisil on erinevad eesmärgid, kusjuures A/B-testimine eelistab andmepõhist optimeerimist ja ühekordsed väljaanded seavad esikohale kiiruse ja lihtsuse.
See detailne võrdlus uurib adaptiivsete intelligentsete mootorite arhitektuurilisi erinevusi, operatsioonilisi piiranguid ja reaalset jõudlust võrreldes fikseeritud käitumisega automatiseerimissüsteemidega. Vaatleme, kuidas süsteemid, mis pidevalt õpivad uutest keskkonnaandmetest, sobivad kokku jäikade ja ennustatavate reeglipõhiste raamistikega.
Adaptiivne otsing kohandab dünaamiliselt, kuidas ja millist teavet süsteem päringu põhjal hangib, samas kui staatilised otsingukanalid järgivad fikseeritud reegleid olenemata kontekstist. Mõlemad toetavad tänapäevaseid tehisintellekti rakendusi, kuid erinevad oluliselt paindlikkuse, maksumuse ja täpsuse poolest. Nende vahel valimine sõltub töökoormuse keerukusest ja eelarvest.
Agentide koolitamine keskkondades hõlmab õppimist reaalajas simuleeritud või füüsilise keskkonnaga suhtlemise kaudu, samas kui võrguühenduseta andmestiku koolitamine tugineb eelnevalt kogutud andmetele ilma täiendava keskkonnale juurdepääsuta. Mõlemad lähenemisviisid treenivad masinõppe mudeleid, kuid erinevad põhimõtteliselt selle poolest, kuidas agendid kogemusi koguvad ja jõudlust parandavad.
