PPO ir politikas gradienta pastiprināšanas mācīšanās metode, kas tiek augstu vērtēta tās stabilitātes un mērogojamības dēļ, savukārt Q-Learning ir uz vērtībām balstīta pieeja, kas apgūst darbības-vērtības funkcijas. Abas metodes apmāca aģentus, izmantojot izmēģinājumu un kļūdu metodi, taču tās būtiski atšķiras ar to, kā tās attēlo zināšanas un atjaunina uzvedību.
Politikas gradienta pastiprināšanas mācīšanās algoritms, kas atjaunina politikas, izmantojot apgrieztas mērķa funkcijas, lai nodrošinātu stabilu apmācību.
Uz vērtībām balstīta pastiprināšanas mācīšanās pieeja, kas novērtē paredzamo atlīdzību par darbību veikšanu noteiktos stāvokļos.
| Funkcija | Proksimālās politikas optimizācija (PPO) | Q-mācīšanās algoritmi |
|---|---|---|
| Algoritma tips | Politikas gradients (atbilstība politikai) | Uz vērtībām balstīts (ārpus politikas) |
| Ieviešanas gads | 2017. gads (Atvērtais mākslīgais intelekts) | 1989. gads (Vatkinss) |
| Galvenais mācību mērķis | Politikas funkciju stāvokļu kartēšana ar darbībām | Q-vērtības funkcija, kas novērtē darbības kvalitāti |
| Darbības telpas atbalsts | Nepārtraukts un diskrēts | Galvenokārt diskrēts (paplašinājumi pastāv nepārtrauktai darbībai) |
| Parauga efektivitāte | Vidējs (katram atjauninājumam nepieciešami jauni dati) | Augstāks (atkārtoti izmanto pieredzes atkārtošanas buferi) |
| Treniņu stabilitāte | Augsts (apgriezts objektīvs novērš sabrukšanu) | Zemāks (ar tendenci uz pārvērtēšanas neobjektivitāti) |
| Izpētes stratēģija | Stohastiskā politika ar entropijas bonusiem | Epsilona-mantkārības vai Bolcmana izpēte |
| Bieži sastopami lietošanas gadījumi | Robotika, LLM izlīdzināšana, nepārtraukta vadība | Spēļu spēlēšana, diskrētu lēmumu uzdevumi, navigācija |
| Galvenie varianti | PPO ar izgriešanu, PPO ar adaptīvu KL sodu | DQN, dubultais DQN, divkauju DQN, varavīksne |
PPO izmanto tiešu pieeju, apgūstot parametrizētu politiku, kas izvada darbības varbūtības, ņemot vērā stāvokli. Tā optimizē šo politiku, izmantojot gradienta pieaugumu paredzamajām atlīdzībām. Q-Learning izmanto netiešu ceļu, vispirms novērtējot, cik laba ir katra darbība katrā stāvoklī, un pēc tam atvasinot uzvedību no šiem aprēķiniem. Šis filozofiskais sadalījums ietekmē visu, sākot no datu prasībām līdz galīgajai veiktspējai.
Viens no PPO lielākajiem pārdošanas punktiem ir tā ierobežotā mērķa funkcija, kas ierobežo, cik tālu politika var mainīties viena atjauninājuma laikā. Tas padara apmācību ievērojami stabilu pat trokšņainos uzdevumos. Q-apmācība, īpaši tās dziļajās variantos, var ciest no nestabilitātes pārvērtēšanas neobjektivitātes un kustīgā mērķa problēmas dēļ. Tādas metodes kā mērķa tīkli un dubultā Q-apmācība palīdz, taču PPO parasti ir nepieciešama mazāka hiperparametru regulēšana, lai droši konverģētu.
Q-Learning parasti uzvar paraugu efektivitātes ziņā, jo tā var saglabāt pieredzi atkārtošanas buferī un vairākas reizes mācīties no tās. PPO atbilst politikai, kas nozīmē, ka tā parasti atmet datus pēc katra atjaunināšanas cikla, kas nozīmē, ka ir nepieciešama lielāka mijiedarbība ar vidi. Simulētās vidēs, kur datu ģenerēšana ir lēta, tam reti ir nozīme. Tomēr reālās pasaules robotikā vai dārgās simulācijās Q-Learning iepriekšējo datu atkārtota izmantošana var būt liela priekšrocība.
PPO apstrādā nepārtrauktas darbības telpas dabiski, jo tas izvada varbūtības sadalījumu pa darbībām, bieži vien Gausa sadalījumu. Q-apmācība sākotnēji tika izstrādāta diskrētām darbībām, kur var vienkārši meklēt Q vērtību katrai opcijai. Pastāv tādi paplašinājumi kā normalizēta priekšrocību funkcija (NAF) vai sadalījuma Q-apmācība, taču PPO joprojām ir visizplatītākā izvēle nepārtrauktas vadības problēmām, piemēram, robotu manipulācijām.
PPO veicina izpēti, izmantojot stohastiskas politikas un entropijas bonusus, kas novērš priekšlaicīgu konverģenci uz deterministisku uzvedību. Q-Learning balstās uz skaidriem izpētes noteikumiem, piemēram, epsilon-greedy, kur aģents izvēlas nejaušas darbības ar zināmu varbūtību. PPO pieeja parasti labāk mērogojama augstas dimensijas darbību telpās, savukārt Q-Learning vienkāršākā izpēte labi darbojas diskrētās vidēs ar pārvaldāmu darbību skaitu.
PPO ir kļuvusi par noklusējuma izvēli daudzām ražošanas sistēmām, tostarp pastiprinājuma mācīšanās no cilvēka atgriezeniskās saites (RLHF), ko izmanto lielu valodu modeļu apmācībai. Q-Learning un tās dziļās variantes joprojām dominē spēļu etalonos un diskrētu lēmumu uzdevumos. Abiem algoritmiem ir bagātīgas ieviešanas ekosistēmas, PPO ir pieejams tādās bibliotēkās kā Stable Baselines3 un RLlib, un Q-Learning varianti ir gandrīz katrā RL ietvarā.
PPO un Q-Learning ir savstarpēji aizvietojami algoritmi, kas risina vienas un tās pašas problēmas.
Tās pārstāv principiāli atšķirīgas pastiprināšanas mācīšanās pieejas. PPO tieši optimizē politiku, savukārt Q-Learning novērtē darbības vērtības. Katra no tām izceļas dažādos scenārijos, un izvēle starp tām ir atkarīga no jūsu darbības telpas, datu pieejamības un stabilitātes prasībām.
Q-Learning ir novecojis un ir aizstāts ar jaunākiem algoritmiem.
Q-Learning joprojām ir ļoti aktuāla, īpaši pateicoties tā dziļās mācīšanās paplašinājumiem, piemēram, DQN un Rainbow. Šie varianti turpina sasniegt vismodernākos rezultātus daudzos etalonos un veido konceptuālo pamatu jaunākām metodēm.
PPO vienmēr pārspēj Q-Learning, jo tas ir jaunāks.
Jaunāks nenozīmē universāli labāks. PPO izceļas nepārtrauktā kontrolē un liela mēroga apmācībā, taču Q-Learning to var pārspēt atsevišķās vidēs ar ierobežotiem datiem. Veiktspēja ir ļoti atkarīga no konkrētās problēmas un ieviešanas detaļām.
Q-Learning nevar darboties ar nepārtrauktām darbības telpām.
Lai gan standarta Q-apmācība ir paredzēta diskrētām darbībām, vairāki paplašinājumi, piemēram, NAF, sadales Q-apmācība un darbību iegulšanas pieejas, nodrošina nepārtrauktu kontroli. Tomēr tās ir retāk sastopamas nekā politikas gradienta metodes nepārtrauktiem uzdevumiem.
Lai PPO darbotos labi, nav nepieciešama nekāda hiperparametru regulēšana.
PPO ir piedodošāks nekā daudzi citi algoritmi, taču tas joprojām prasa rūpīgu izgriešanas parametra, mācīšanās ātruma un entropijas koeficienta regulēšanu. Sliktas izvēles var izraisīt lēnu konverģenci vai neoptimālas politikas.
Izvēlieties PPO, strādājot ar nepārtrauktu vadību, robotiku vai liela mēroga politikas apmācību, kur stabilitātei ir vissvarīgākā. Izvēlieties Q-Learning diskrētām darbību telpām, scenārijiem ar ierobežotu paraugu skaitu vai tad, ja nepieciešams izmantot pieredzes atkārtošanu. Abi joprojām ir pamatalgoritmi, un izpratne par to kompromisiem palīdzēs jums izvēlēties pareizo rīku jūsu konkrētajam pastiprināšanas mācīšanās uzdevumam.
A/B testēšana modeļu apkalpošanā novirza trafiku starp konkurējošām modeļu versijām, lai novērtētu reālo veiktspēju, savukārt viena modeļa ieviešana visiem lietotājiem nosūta vienu modeli. Komandas izvēlas starp tiem, pamatojoties uz riska toleranci, trafika apjomu un statistiskās validācijas nepieciešamību pirms pilnīgas ieviešanas.
A/B testēšana satura izlaidumos ietver variāciju ieviešanu dažādiem auditorijas segmentiem un veiktspējas mērīšanu, savukārt vienreizēji satura izlaidumi vienlaikus nodrošina vienu versiju visiem lietotājiem. Katra pieeja atbilst dažādiem mērķiem, A/B testēšanai dodot priekšroku uz datiem balstītai optimizācijai, bet vienreizējiem izlaidumiem prioritāte ir ātrums un vienkāršība.
Adaptīvā izguve dinamiski pielāgo, kā un kādu informāciju sistēma izgūst, pamatojoties uz vaicājumu, savukārt statiskās izguves cauruļvadi ievēro fiksētus noteikumus neatkarīgi no konteksta. Abas nodrošina modernas mākslīgā intelekta lietojumprogrammas, taču tās ievērojami atšķiras pēc elastības, izmaksām un precizitātes. Izvēle starp tām ir atkarīga no darba slodzes sarežģītības un budžeta.
Šajā detalizētajā salīdzinājumā tiek pētītas adaptīvo intelekta dzinēju arhitektūras atšķirības, darbības ierobežojumi un reālā veiktspēja salīdzinājumā ar fiksētas uzvedības automatizācijas sistēmām. Mēs aplūkojam, kā sistēmas, kas nepārtraukti mācās no jauniem vides datiem, atbilst stingrām, paredzamām, uz noteikumiem balstītām sistēmām.
Aģentu apmācība vidēs ietver mācīšanos, izmantojot reāllaika mijiedarbību ar simulētu vai fizisku vidi, savukārt bezsaistes datu kopu apmācība balstās uz iepriekš apkopotiem datiem bez papildu piekļuves videi. Abas pieejas apmāca mašīnmācīšanās modeļus, taču būtiski atšķiras tas, kā aģenti apkopo pieredzi un uzlabo veiktspēju.
