„Proximal Policy Optimization“ (PPO) sustiprinto mokymosi srityje taiko apribotas tikslo funkcijas ir pasitikėjimo srities mąstymą, taip smarkiai sumažindamas nepastovumą, kuris kamuoja paprastus politikos gradiento metodus. Nors tradiciniai metodai, tokie kaip „REINFORCE“ ir standartiniai veikėjų-kritikų algoritmai, gali nukrypti arba sugriūti mokymo metu, PPO dizainas išlaiko atnaujinimus ribotus ir atkartojamus tarp paleidimų.
Apribotas pakaitinis tikslas, kuris palaiko politikos atnaujinimus saugiose ribose, užkertant kelią destruktyviems mokymosi etapams.
Klasikiniai sustiprinimo mokymosi algoritmai, kurie atnaujina politiką tiesiai pagal laukiamos grąžos gradientą, dažnai sukurdami nepastovias mokymosi kreives.
| Funkcija | Stabilus mokymas PPO | Nestabilūs politikos gradiento metodai |
|---|---|---|
| Atnaujinimo mechanizmas | Apribotas surogatinis tikslas, kurio tikimybės santykis yra artimas 1,0 | Neapdorotas gradiento kilimas pagal numatomą grąžą be griežto atnaujinimo apribojimo |
| Treniruočių stabilumas | Aukštas – atsigauna po blogų žingsnių ir retai nukrypsta | Žemas – jautrus mokymosi greičiui ir atlygio skalei, linkęs žlugti |
| Imties efektyvumas | Vidutinis; vienam išleidimui naudoja kelias mini partijos SGD epochas | Dažnai prastas, nebent derinamas su baziniais rodikliais ar dispersijos mažinimo gudrybėmis |
| Įgyvendinimo sudėtingumas | Paprasta – maždaug toks pat kodo pėdsakas kaip ir įprasto politikos gradiento | Paprasta iš esmės, bet jos stabilizavimas reikalauja papildomos inžinerijos |
| Hiperparametrų jautrumas | Santykinai atlaidus esant įvairiems įrašų santykiams ir mokymosi greičiams | Labai jautrus; maži pokyčiai gali visiškai nutraukti mokymą |
| Nuokrypių tvarkymas | Integruotas iškirpimas veikia kaip numanomas dispersijos reduktorius | Reikalingi atskiri metodai, tokie kaip baziniai rodikliai, GAE arba pranašumų normalizavimas |
| Sieninio laikrodžio našumas | Greitas veikimas naudojant šiuolaikinę įrangą dėl pirmos eilės optimizavimo | Palyginama pagal žingsnį, tačiau nestabilumas dažnai švaisto sieninio laikrodžio laiką nepavykusiems vykdymams |
| Dažniausiai naudojami atvejai | RLHF kalbos modeliams, robotikai, žaidimams, nuolatiniam valdymui | Teorinė analizė, paprastos aplinkos, sustiprinto mokymosi mokymas |
Pagrindinė PPO idėja yra ta, kad politikos atnaujinimai turėtų būti maži ir grįžtami. Apkarpydamas tikimybės santykį tarp naujos ir senos politikos, algoritmas neleidžia optimizavimo įrankiui žengti žingsnio, kuris per vieną iteraciją pernelyg drastiškai pakeistų elgseną. Nestabilūs politikos gradiento metodai taiko priešingą požiūrį: jie seka neapdorotu laukiamos grąžos gradientu, pasitikėdami, kad gerai suderintas mokymosi greitis kontroliuos situaciją. Praktiškai šis pasitikėjimas dažnai yra nepagrįstas.
PPO vykdymas paprastai rodo triukšmingą, bet monotoniškai gerėjančią mokymosi kreivę, su retkarčiais pasitaikančiais nuosmukiais, kurie atsistato per kelias iteracijas. Tuo tarpu įprasti politikos gradientai gali išlikti stabilūs tūkstančius žingsnių, o tada staiga žlugti, kai reta didelio atlygio trajektorija nustumia parametrus į blogą zoną. Apribotas tikslas PPO veikia kaip saugos stabdys, ribojantis bet kurios vienos patirties partijos įtaką.
Norint, kad įprasti politikos gradientai veiktų patikimai, dažnai reikia rankiniu būdu derinti mokymosi rodiklius, nuolaidų koeficientus, entropijos premijas ir gradiento iškirpimo slenksčius. PPO sujungia didžiąją dalį šios inžinerijos į vieną iškirpimo hiperparametrą, paprastai nustatomą nuo 0,1 iki 0,3, kuris yra patikimas atliekant įvairias užduotis. Komandoms, tiekiančioms gamybines RL sistemas, šis derinimo naštos sumažinimas tiesiogiai reiškia greitesnius iteracijos ciklus.
PPO pakartotinai naudoja kiekvieną diegimą kelioms mini paketinių atnaujinimų epochoms, o tai pagerina imties efektyvumą, palyginti su grynai politiką atitinkančiais metodais, tokiais kaip REINFORCE. Tačiau šis pakartotinis naudojimas taip pat yra priežastis, kodėl iškirpimas yra svarbus: be jo algoritmas per daug prisitaikytų prie pasenusių trajektorijų. Nestabilūs politikos gradiento metodai paprastai yra vieno bandymo kiekvienam diegimui, todėl jie yra mažiau imties efektyvūs, bet ir mažiau linkę į tą konkretų gedimo režimą.
PPO tapo faktiniu taikomojo pastiprinimo mokymosi pasirinkimu, maitinančiu sistemas nuo „OpenAI“ „Dota 5v5“ agentų iki RLHF kanalų, sukurtų už „ChatGPT“ ir kitų šiuolaikinių pokalbių robotų. Paprasti politikos gradiento metodai išlieka vertingi kaip mokymo priemonės ir kaip atskaitos taškai mokslinių tyrimų darbuose, tačiau jie retai naudojami gamybinėse sistemose, kur patikimumas yra svarbus. Poslinkis link PPO atspindi platesnę mašininio mokymosi tendenciją link metodų, kurie veikia iš karto.
PPO tėra išgalvota REINFORCE versija be jokio realaus teorinio pagrindimo.
PPO remiasi TRPO patikimo regiono idėja, tačiau suvaržytas optimizavimas pakeičiamas pirmos eilės iškirptu surogatiniu metodu. Iškirpimas pateikia praktinį patikimo regiono apribojimo aproksimavimą, todėl jis taip gerai veikia empiriškai, nepaisant to, kad yra paprasčiau įgyvendinamas.
Vanilinės politikos gradientai visada konverguoja, jei naudojate pakankamai mažą mokymosi greitį.
Mažas mokymosi greitis sulėtina divergenciją, bet jos nepašalina. Blogos trajektorijos vis tiek gali nustumti politiką į išsigimusius regionus, o didelis Monte Karlo grąžos dispersijos lygis reiškia, kad retkarčiais dideli efektyvūs atnaujinimai iš esmės yra neišvengiami be aiškių apribojimų.
PPO negalima naudoti nuolatinio valdymo užduotims.
PPO puikiai veikia nuolatinio valdymo etalonuose, tokiuose kaip „MuJoCo“ judėjimas ir robotų manipuliavimas. Apkirptas objektas nepriklauso nuo veiksmo erdvės, o PPO su Gauso politika išlieka tvirtu pagrindu problemoms spręsti – nuo keturkojų ėjimo iki miklių rankų manipuliavimo.
Nestabilūs politikos gradientai yra pasenę ir nebenaudojami tyrimuose.
Natūralūs politikos gradientai išlieka pagrindiniais sustiprinto mokymosi tyrimuose. Jie pateikiami kaip atskaitos taškai beveik kiekviename naujame algoritmų straipsnyje, o tokie variantai kaip natūralūs politikos gradientai vis dar naudojami šiuolaikiniame darbe, susijusiame su pasitikėjimo regionais ir suvaržytu optimizavimu.
PPO garantuoja monotonišką tobulėjimą kiekvieno treniruotės metu.
PPO smarkiai pagerina stabilumą, bet negarantuoja monotoniškos pažangos. Mokymosi kreivėse vis dar yra triukšmo, o patologinės atlygio funkcijos arba itin reti signalai vis tiek gali sukelti gedimus. Stabilumas reiškia mažiau katastrofiškų griūčių, o ne nulinį gedimų skaičių.
Rinkitės PPO, kai jums reikia patikimo, bendrosios paskirties sustiprinimo mokymosi algoritmo, kuris veiktų įvairiose aplinkose be didelio derinimo. Paprastus politikos gradiento metodus naudokite pirmiausia švietimo tikslais, teorinei analizei arba kai norite konkrečiai ištirti gedimų režimus, kuriuos PPO buvo sukurtas pašalinti.
„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.
„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.
„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.
„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.
A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.
