PPO on poliitikagradiendi tugevdusõppe meetod, mida hinnatakse stabiilsuse ja skaleeritavuse poolest, samas kui Q-õpe on väärtuspõhine lähenemisviis, mis õpib tegevus-väärtusfunktsioone. Mõlemad koolitavad agente katse-eksituse meetodil, kuid erinevad põhimõtteliselt selle poolest, kuidas nad teadmisi esitavad ja käitumist värskendavad.
Poliitikagradiendi tugevdusõppe algoritm, mis uuendab poliitikaid kärbitud eesmärgifunktsioonide abil stabiilse treeningu saavutamiseks.
Väärtuspõhine tugevdusõppe lähenemisviis, mis hindab antud olekutes tegutsemise eeldatavat tasu.
| Funktsioon | Proksimaalse poliitika optimeerimine (PPO) | Q-õppe algoritmid |
|---|---|---|
| Algoritmi tüüp | Poliitikagradient (poliitika järgimine) | Väärtuspõhine (poliitikaväline) |
| Kasutuselevõtu aasta | 2017 (OpenAI) | 1989 (Watkins) |
| Põhiõppe eesmärk | Poliitikafunktsioonide olekute seostamine toimingutega | Q-väärtuse funktsioon, mis hindab tegevuse kvaliteeti |
| Tegevusruumi tugi | Pidev ja diskreetne | Peamiselt diskreetne (pideva funktsiooni jaoks on olemas laiendused) |
| Proovi efektiivsus | Keskmine (nõuab iga värskenduse kohta uusi andmeid) | Kõrgem (taaskasutab kogemuse korduspuhvrit) |
| Treeningu stabiilsus | Kõrge (kärbitud objektiiv hoiab ära kokkuvarisemise) | Madalam (kalduvus ülehindamise kallutatusele) |
| Uurimisstrateegia | Stohhastiline poliitika entroopiaboonustega | Epsiloni-ahne või Boltzmanni uurimine |
| Levinumad kasutusjuhud | Robootika, õigusteaduse valdkonna joondamine, pidev juhtimine | Mängimine, diskreetsete otsuste tegemise ülesanded, navigeerimine |
| Peamised variandid | PPO kärpimisega, PPO adaptiivse KL-i karistusega | DQN, topelt-DQN, kahekordne DQN, vikerkaar-DQN |
PPO kasutab otsest lähenemist, õppides parameetrilise poliitika, mis väljastab toimingute tõenäosused antud oleku korral. See optimeerib seda poliitikat, kasutades oodatavate hüvede gradiendi tõusu. Q-õpe kasutab kaudset teed, hinnates kõigepealt iga tegevuse headust igas olekus ja seejärel tuletades nende hinnangute põhjal käitumise. See filosoofiline lõhe kujundab kõike alates andmenõuetest kuni lõpptulemuseni.
Üks PPO suurimaid müügiargumente on kärbitud eesmärgifunktsioon, mis piirab poliitika nihkumist ühe värskenduse ajal. See muudab treeningu märkimisväärselt stabiilseks isegi mürarikaste ülesannete korral. Q-õpe, eriti selle sügavates variantides, võib kannatada ebastabiilsuse all ülehindamise kallutatuse ja liikuva sihtmärgi probleemi tõttu. Sellised meetodid nagu sihtvõrgud ja topelt-Q-õpe aitavad, kuid PPO nõuab usaldusväärseks koondumiseks üldiselt vähem hüperparameetrite häälestamist.
Q-Learning kipub valimi efektiivsuse poolest võitma, kuna see suudab kogemusi korduspuhvris salvestada ja neist mitu korda õppida. PPO on poliitikapõhine, mis tähendab, et see tavaliselt loobub andmetest pärast iga värskendustsüklit, mis tähendab, et on vaja rohkem keskkonnainteraktsioone. Simuleeritud keskkondades, kus andmete genereerimine on odav, on see harva oluline. Reaalses robootikas või kallites simulatsioonides võib Q-Learningi varasemate andmete taaskasutamine aga olla suureks eeliseks.
PPO käsitleb pidevaid tegevusruume loomulikult, kuna see väljastab tõenäosusjaotuse tegevuste vahel, sageli Gaussi jaotuse. Q-õpe oli algselt mõeldud diskreetsete toimingute jaoks, kus saate lihtsalt otsida iga valiku Q-väärtuse. On olemas laiendused nagu normaliseeritud eelisfunktsioon (NAF) või jaotuslik Q-õpe, kuid PPO on endiselt levinum valik pideva juhtimise probleemide, näiteks robotmanipulatsiooni puhul.
PPO soodustab uurimist stohhastiliste poliitikate ja entroopiaboonuste abil, mis takistavad enneaegset lähenemist deterministlikule käitumisele. Q-õpe tugineb selgesõnalistele uurimisreeglitele nagu epsilon-ahne reeglistik, kus agent valib juhuslikke tegevusi teatud tõenäosusega. PPO lähenemisviis kipub paremini skaleeruma kõrgemõõtmeliste tegevusruumide puhul, samas kui Q-õppe lihtsam uurimine toimib hästi diskreetsetes keskkondades, kus tegevuste arv on hallatav.
PPO-st on saanud paljude tootmissüsteemide vaikevalik, sealhulgas inimtagasiside abil tugevdusõpe (RLHF), mida kasutatakse suurte keelemudelite treenimiseks. Q-õpe ja selle süvavariandid jäävad domineerivaks mängude võrdlusalustes ja diskreetsete otsustusülesannetes. Mõlemal algoritmil on rikkalikud rakenduste ökosüsteemid, kusjuures PPO on saadaval teekides nagu Stable Baselines3 ja RLlib ning Q-õppe variandid peaaegu igas RL-raamistikus.
PPO ja Q-õpe on omavahel asendatavad algoritmid, mis lahendavad samu probleeme.
Need esindavad põhimõtteliselt erinevaid lähenemisviise tugevdusõppele. PPO optimeerib otseselt poliitikat, samas kui Q-õpe hindab tegevusväärtusi. Mõlemad toimivad erinevates stsenaariumides ja nende vahel valimine sõltub teie tegevusruumist, andmete kättesaadavusest ja stabiilsusnõuetest.
Q-õpe on aegunud ja asendatud uuemate algoritmidega.
Q-Learning on endiselt väga asjakohane, eriti tänu oma süvaõppe laiendustele nagu DQN ja Rainbow. Need variandid saavutavad jätkuvalt tipptasemel tulemusi paljudes võrdlusalustes ja moodustavad kontseptuaalse aluse uuematele meetoditele.
PPO edestab alati Q-Learningut, kuna see on uuem.
Uuem ei tähenda universaalselt paremat. PPO paistab silma pideva juhtimise ja laiaulatusliku treenimise osas, kuid Q-Learning suudab sellest diskreetsetes keskkondades piiratud andmetega üle olla. Jõudlus sõltub suuresti konkreetsest probleemist ja rakenduse üksikasjadest.
Q-õpe ei saa töötada pidevate tegevusruumidega.
Kuigi standardne Q-õpe on loodud diskreetsete toimingute jaoks, võimaldavad mitmed laiendused, näiteks NAF, jaotatud Q-õpe ja toimingute manustamise lähenemisviisid, pidevat juhtimist. Need on aga pidevate ülesannete puhul vähem levinud kui poliitikagradiendi meetodid.
PPO ei vaja hea toimimise tagamiseks hüperparameetrite häälestamist.
PPO on andestavam kui paljud algoritmid, kuid see nõuab siiski hoolikat kärpimisparameetri, õppimiskiiruse ja entroopiakordaja häälestamist. Halvad valikud võivad viia aeglase lähenemiseni või optimaalsest madalamate poliitikateni.
Valige PPO, kui töötate pideva juhtimise, robootika või ulatusliku poliitikakoolitusega, kus stabiilsus on kõige olulisem. Valige Q-Learning diskreetsete tegevusruumide, valimipiiratud stsenaariumide või kogemuse taasesitamise ärakasutamise korral. Mõlemad on fundamentaalsed algoritmid ja nende kompromisside mõistmine aitab teil valida oma konkreetse tugevdusõppe väljakutse jaoks õige tööriista.
Mudeliteenuse A/B-testimine suunab liiklust konkureerivate mudeliversioonide vahel, et mõõta reaalset toimivust, samas kui ühe mudeli juurutamine saadab kõigile kasutajatele ühe mudeli. Meeskonnad valivad nende vahel riskitaluvuse, liiklusmahu ja statistilise valideerimise vajaduse alusel enne täielikku juurutamist.
Sisuväljaannete A/B-testimine hõlmab variatsioonide levitamist erinevatele sihtrühmadele ja tulemuslikkuse mõõtmist, samas kui ühekordsed sisuväljaanded suunavad ühe versiooni korraga kõigile. Igal lähenemisviisil on erinevad eesmärgid, kusjuures A/B-testimine eelistab andmepõhist optimeerimist ja ühekordsed väljaanded seavad esikohale kiiruse ja lihtsuse.
See detailne võrdlus uurib adaptiivsete intelligentsete mootorite arhitektuurilisi erinevusi, operatsioonilisi piiranguid ja reaalset jõudlust võrreldes fikseeritud käitumisega automatiseerimissüsteemidega. Vaatleme, kuidas süsteemid, mis pidevalt õpivad uutest keskkonnaandmetest, sobivad kokku jäikade ja ennustatavate reeglipõhiste raamistikega.
Adaptiivne otsing kohandab dünaamiliselt, kuidas ja millist teavet süsteem päringu põhjal hangib, samas kui staatilised otsingukanalid järgivad fikseeritud reegleid olenemata kontekstist. Mõlemad toetavad tänapäevaseid tehisintellekti rakendusi, kuid erinevad oluliselt paindlikkuse, maksumuse ja täpsuse poolest. Nende vahel valimine sõltub töökoormuse keerukusest ja eelarvest.
Agentide koolitamine keskkondades hõlmab õppimist reaalajas simuleeritud või füüsilise keskkonnaga suhtlemise kaudu, samas kui võrguühenduseta andmestiku koolitamine tugineb eelnevalt kogutud andmetele ilma täiendava keskkonnale juurdepääsuta. Mõlemad lähenemisviisid treenivad masinõppe mudeleid, kuid erinevad põhimõtteliselt selle poolest, kuidas agendid kogemusi koguvad ja jõudlust parandavad.
