Politikas izgriešana PPO ierobežo, cik tālu jaunā politika var atšķirties no vecās katra atjauninājuma laikā, saglabājot apmācības stabilitāti. Neierobežoti politikas atjauninājumi ļauj jaunajai politikai brīvi mainīties, kas var paātrināt mācīšanos, bet sarežģītās vidēs bieži noved pie nestabilitātes vai sabrukuma.
Proksimālās politikas optimizācijas metode, kas ierobežo politikas izmaiņu apjomu katrā atjaunināšanas solī.
Pieeja, kurā politikas parametri var mainīties par jebkuru daudzumu vienas apmācības iterācijas laikā bez skaidri noteiktiem ierobežojumiem.
| Funkcija | Politikas izgriešana PPO | Neierobežoti politikas atjauninājumi |
|---|---|---|
| Atjaunināšanas ierobežojums | Apgriezts attiecībā 0,1–0,2 | Nav skaidru ierobežojumu |
| Treniņu stabilitāte | Parasti stabils visās iterācijās | Nosliece uz svārstībām un sabrukumu |
| Parauga efektivitāte | Augsts, atkārtoti izmanto savāktās trajektorijas | Mainīgs, bieži vien nepieciešami jauni dati |
| Īstenošanas sarežģītība | Mērens, viens apgriezts objektīvs | Vienkāršs, standarta gradienta kāpums |
| Hiperparametru jutība | Zemāks, griešanas diapazons ir piedodošs | Augstāks mācīšanās ātrums ir kritiski svarīgs |
| Politikas sabrukšanas risks | Zems tuvuma ierobežojuma dēļ | Augsts bez ārējiem aizsardzības līdzekļiem |
| Bieži sastopami lietošanas gadījumi | Robotika, spēļu mākslīgais intelekts, RLHF, nepārtraukta vadība | Vienkāršas rotaļlietu problēmas, teorētiskā analīze |
| Izcelsme | OpenAI, 2017. gada PPO raksts | Agrīnā politikas gradientu literatūra, 1990.–2000. gadi |
Politikas apgriešana PPO darbojas, aprēķinot attiecību starp jauno un veco darbību varbūtībām un pēc tam apgriežot šo attiecību, lai tā paliktu šaurā joslā (parasti no 0,8 līdz 1,2). Kad attiecība mēģina pārvietoties ārpus šīs joslas, gradienta signāls tiek nullēts, faktiski norādot optimizētājam: "nevirzīties tālāk šajā virzienā". Neierobežoti atjauninājumi pilnībā izlaiž šo drošības pasākumu, ļaujot optimizētājam pārvietot politikas parametrus uz jebkuru vietu, kur norāda gradients, neatkarīgi no tā, cik dramatiska ir nobīde.
Apgrieztā pieeja ir iemantojusi savu uzticamības reputāciju, jo tā novērš katastrofālu aizmirstību, kas nomoka neierobežotas metodes. Kad tiek atrasta laba politika, apgriešana pasargā to no iznīcināšanas pārāk pārliecināta atjauninājuma dēļ. Neierobežoti atjauninājumi reizēm var ātrāk atrast izrāvienu, taču tiem ir arī ieradums izmest nedēļām ilgu progresu vienā nepareizā solī, tāpēc lielākā daļa ražošanas sistēmu no tiem izvairās.
PPO izgriešana ļauj veikt vairākas optimizācijas epohas vienai un tai pašai apkopotās pieredzes partijai, ievērojami uzlabojot izlases efektivitāti. Tā kā politika nevar pārāk tālu novirzīties, dati saglabājas atbilstoši vairākos gradienta soļos. Neierobežotiem atjauninājumiem parasti ir nepieciešami jauni paraugi katrā iterācijā, jo politika var būt tik ļoti mainījusies, ka vecās trajektorijas vairs neatspoguļo pašreizējo uzvedību, tādējādi izšķērdējot skaitļošanas un vides resursus.
Apgriešana padara PPO ievērojami piedodošu hiperparametru lietošanā. Apgriešanas diapazons 0,2 labi darbojas milzīgā uzdevumu klāstā bez īpašas regulēšanas. Neierobežoti atjauninājumi tiek ģenerēti atkarībā no mācīšanās ātruma: ja tie ir pārāk mazi, mācīšanās notiek lēni, ja tie ir pārāk lieli, politika atšķiras. Šī jutība padara neierobežotas metodes nomācošas praktiķiem, kuriem nav laika veikt plašas pārbaudes.
Apskatiet jebkuru mūsdienīgu RL koda bāzi, un jūs redzēsiet, ka PPO dominē ainavā, sākot no paša OpenAI darba līdz robotikas laboratorijām un valodu modeļu precizēšanas kanāliem, piemēram, RLHF. Neierobežoti politikas atjauninājumi galvenokārt paliek mācību grāmatās un teorētiskās diskusijās, reizēm parādoties pētniecības rakstos, kuriem ir nepieciešams salīdzinājums. Atšķirība ieviešanas ziņā atspoguļo gadu desmitiem uzkrātos pierādījumus par to, kura pieeja faktiski darbojas praksē.
Apgriešana pilnībā novērš politikas būtiskas izmaiņas.
Apgriešana ierobežo tikai to, cik daudz politika var mainīties viena atjaunināšanas soļa laikā. Daudzu iterāciju laikā politika joprojām var ievērojami mainīties, ja vien katrs atsevišķais solis paliek apgriešanas diapazonā. Ierobežojums ir paredzēts katram solim, nevis pastāvīgs.
Neierobežoti atjauninājumi vienmēr saplūst ātrāk nekā apgrieztās metodes.
Neierobežoti atjauninājumi sākumā var šķist ātrāki, taču tie bieži atšķiras vai sabrūk, piespiežot restartēt sistēmu, kas izdzēš visus sākotnējos ieguvumus. Praksē ierobežotas metodes, piemēram, PPO, bieži vien sasniedz labāku galīgo veiktspēju īsākā laikā, jo tās netērē pūles, atgūstoties no sliktiem atjauninājumiem.
PPO apgriešana padara to līdzvērtīgu TRPO.
Abas metodes ierobežo politikas atjauninājumus, bet TRPO izmanto stingru KL diverģences ierobežojumu ar līnijas meklēšanu, savukārt PPO izmanto mīkstu varbūtības attiecības ierobežošanu. PPO ir vienkāršāks, atbalsta vairākas epohas katrā partijā un labāk mērogojams lieliem modeļiem, tāpēc praksē tas lielā mērā aizstāja TRPO.
Lielāks klipšu diapazons vienmēr nozīmē agresīvāku mācīšanos.
Palielinot apgriešanas diapazonu, var veikt lielākus atjauninājumus, taču tas arī samazina apgriešanas aizsargājošo efektu. Virs noteikta punkta algoritms uzvedas vairāk kā neierobežots atjauninājums un zaudē savas stabilitātes priekšrocības. Noklusējuma 0,2 diapazons ir optimālais punkts, nevis sākumpunkts pāregulēšanai uz augšu.
Neierobežoti politikas atjauninājumi ir novecojuši un bezjēdzīgi.
Neierobežoti atjauninājumi joprojām ir vērtīgi kā pētniecības bāzes līnijas un darbojas samērā labi vienkāršās vidēs, piemēram, mazās režģa pasaulēs vai zemas dimensijas vadības uzdevumos. Tie kalpo arī kā pedagoģiski rīki, lai izprastu, kāpēc vispār tika izstrādātas uzticamības reģiona metodes.
Izvēlieties politikas izgriešanu PPO ikreiz, kad nepieciešama uzticama, reproducējama apmācība dažādās vidēs, īpaši ražošanas vai pētniecības vidēs, kur stabilitāte ir svarīgāka par sākotnējo ātrumu. Neierobežoti politikas atjauninājumi ir lietderīgi tikai vienkāršām, mazdimensionālām problēmām vai teorētiskiem pētījumiem, kuros īpaši vēlaties novērot kļūmes režīmus, kuru novēršanai izgriešana bija paredzēta.
A/B testēšana modeļu apkalpošanā novirza trafiku starp konkurējošām modeļu versijām, lai novērtētu reālo veiktspēju, savukārt viena modeļa ieviešana visiem lietotājiem nosūta vienu modeli. Komandas izvēlas starp tiem, pamatojoties uz riska toleranci, trafika apjomu un statistiskās validācijas nepieciešamību pirms pilnīgas ieviešanas.
A/B testēšana satura izlaidumos ietver variāciju ieviešanu dažādiem auditorijas segmentiem un veiktspējas mērīšanu, savukārt vienreizēji satura izlaidumi vienlaikus nodrošina vienu versiju visiem lietotājiem. Katra pieeja atbilst dažādiem mērķiem, A/B testēšanai dodot priekšroku uz datiem balstītai optimizācijai, bet vienreizējiem izlaidumiem prioritāte ir ātrums un vienkāršība.
Adaptīvā izguve dinamiski pielāgo, kā un kādu informāciju sistēma izgūst, pamatojoties uz vaicājumu, savukārt statiskās izguves cauruļvadi ievēro fiksētus noteikumus neatkarīgi no konteksta. Abas nodrošina modernas mākslīgā intelekta lietojumprogrammas, taču tās ievērojami atšķiras pēc elastības, izmaksām un precizitātes. Izvēle starp tām ir atkarīga no darba slodzes sarežģītības un budžeta.
Šajā detalizētajā salīdzinājumā tiek pētītas adaptīvo intelekta dzinēju arhitektūras atšķirības, darbības ierobežojumi un reālā veiktspēja salīdzinājumā ar fiksētas uzvedības automatizācijas sistēmām. Mēs aplūkojam, kā sistēmas, kas nepārtraukti mācās no jauniem vides datiem, atbilst stingrām, paredzamām, uz noteikumiem balstītām sistēmām.
Aģentu apmācība vidēs ietver mācīšanos, izmantojot reāllaika mijiedarbību ar simulētu vai fizisku vidi, savukārt bezsaistes datu kopu apmācība balstās uz iepriekš apkopotiem datiem bez papildu piekļuves videi. Abas pieejas apmāca mašīnmācīšanās modeļus, taču būtiski atšķiras tas, kā aģenti apkopo pieredzi un uzlabo veiktspēju.
