Uz politiku balstītas un uz vērtībām balstītas metodes pārstāv divas pamatpieejas pastiprināšanas mācīšanās procesā. Uz politiku balstītas metodes tieši apgūst darbības izvēles stratēģiju, savukārt uz vērtībām balstītas metodes novērtē katras darbības kvalitāti un no šīm aplēsēm iegūst uzvedību. Katrai no tām ir atšķirīgas stiprās puses, kas piemērotas dažādiem problēmu veidiem.
Pastiprināšanas mācīšanās pieejas, kas tieši optimizē aģenta darbību atlases politiku, neprasot vērtību funkciju.
Pastiprināšanas mācīšanās pieejas, kas apgūst, cik labi ir stāvokļi vai stāvokļu un darbību pāri, un pēc tam no šīm vērtību aplēsēm iegūst politiku.
| Funkcija | Uz politiku balstītas metodes | Uz vērtībām balstītas metodes |
|---|---|---|
| Galvenā pieeja | Tieši optimizē politiku | Iemācās vērtības funkciju un pēc tam rīkojas ar to |
| Darbības telpa | Labi darbojas ar nepārtrauktām un daudzdimensionālām darbībām | Vispiemērotākais diskrētām, mazdimensionālām darbībām |
| Parauga efektivitāte | Parasti mazāk efektīvs izlases veidošanai, bieži vien nepieciešams vairāk datu | Parasti efektīvāks paraugu ņemšanai, īpaši ar atkārtošanas buferiem |
| Stabilitāte | Stabili atjauninājumi, bet var konverģēt uz lokālo optimumu | Var būt nestabils ar funkciju aproksimāciju, prasa trikus |
| Izpēte | Stohastiskās politikas nodrošina dabas izpēti | Paļaujas uz heuristiku, piemēram, epsilon-mantkārību vai trokšņa injekciju |
| Gradienta dispersija | Augstas dispersijas gradienti, nepieciešama dispersijas samazināšana | Nav politikas gradienta, tāpēc nav dispersijas problēmas tādā pašā nozīmē |
| Ievērojami algoritmi | PASTIPRINĀJUMS, PPO, TRPO, A2C | Q-mācīšanās, DQN, dubultais DQN, divkāršais DQN |
| Konverģences garantija | Standarta apstākļos konverģē uz lokālo optimumu | Tabulveida iestatījumos konverģē uz optimālo politiku |
Uz politikām balstītas metodes izvēlas tiešāku ceļu: tās parametrizē pašu politiku, bieži vien kā neironu tīklu, kas izvada darbību varbūtības, un pielāgo šos parametrus, lai dotu priekšroku darbībām, kas nodrošina lielāku atlīdzību. Uz vērtībām balstītas metodes izvēlas skatuvisku ceļu, vispirms novērtējot, cik vērtīga ir katra darbība katrā stāvoklī, un pēc tam vienkārši izvēloties vispiemērotāko variantu. Šī fundamentālā atšķirība nosaka visu pārējo par to, kā abas saimes darbojas praksē.
Kad darbības telpa ir nepārtraukta, piemēram, kontrolējot robota roku vai stūrējot automašīnu, uz politikām balstītas metodes izceļas, jo tās var izvadīt varbūtības sadalījumu nepārtrauktā diapazonā. Uz vērtībām balstītas metodes šeit ir grūti izpildāmas, jo nav iespējams uzskaitīt visas iespējamās darbības, lai atrastu maksimumu. Problēmām ar nelielu diskrētu darbību kopu, piemēram, spēlējot Atari vai pieņemot lēmumus ar apstiprinošu piekrišanu, uz vērtībām balstītas metodes bieži vien ir vienkāršākas un efektīvākas.
Uz vērtībām balstītas metodes, piemēram, DQN, parasti ir efektīvākas paraugu ziņā, jo tās atkārtoti izmanto iepriekšējo pieredzi, kas saglabāta atkārtošanas buferos, un vairākas reizes mācās no katras pārejas. Tomēr tās var būt nestabilas, ja tās tiek kombinētas ar dziļajiem neironu tīkliem, tāpēc tika ieviestas tādas metodes kā mērķa tīkli. Uz politikām balstītas metodes atjauninās vienmērīgāk, bet parasti konverģēšanai ir nepieciešams vairāk paraugu, un to gradienta aprēķini var būt trokšņaini.
Jauka politikā balstītu metožu īpašība ir tā, ka pati politika var būt stohastiska, kas nozīmē, ka aģents dabiski izpēta, veicot izlasi no savas darbības sadalījuma. Vērtībās balstītām metodēm ir nepieciešamas skaidras izpētes stratēģijas, un klasiskā izvēle ir epsilon-mantkārības metode, lai gan pastāv arī sarežģītākas pieejas, piemēram, trokšņaini tīkli vai augšējās ticamības robežas. Tas padara politikā balstītas metodes īpaši pievilcīgas vidēs, kur izpēte ir sarežģīta.
Robeža starp šīm divām saimēm ne vienmēr ir skaidra. Aktiera-kritiķa metodes, tostarp PPO un A2C, apvieno abas idejas, izmantojot vērtības funkciju (kritiķi), lai vadītu politikas (aktiera) atjauninājumus. Šī hibrīdpieejā bieži vien tiek iegūts labākais no abām pasaulēm: zemāka dispersija nekā tīras politikas gradienti un labāka nepārtrauktu darbību apstrāde nekā tīras uz vērtībām balstītas metodes. Mūsdienu, vismodernākie algoritmi daudzās jomās ir aktiera-kritiķa varianti.
Dziļās pastiprināšanas mācīšanās procesā uz politiku balstītas metodes vienmēr pārspēj uz vērtībām balstītas metodes.
Neviena no saimēm nav universāli pārāka. Uz vērtībām balstītas metodes, piemēram, DQN, sasniedza revolucionārus rezultātus Atari vidē, savukārt uz politikām balstītas metodes izceļas nepārtrauktā kontrolē. Labākā izvēle ir atkarīga no darbības telpas, vides dinamikas un pieejamā datu daudzuma.
Uz vērtībām balstītas metodes nevar darboties ar nepārtrauktām darbības telpām.
Lai gan standarta Q-mācīšanās cīnās ar nepārtrauktām darbībām, tādi varianti kā dziļais deterministiskais politikas gradients (DDPG) un dvīņu aizkavētais DDPG (TD3) paplašina uz vērtībām balstītas idejas uz nepārtrauktām jomām, izmantojot aktieru-kritiķu arhitektūras. Stingra atdalīšana starp abām saimēm drīzāk ir mācību vienkāršošana, nevis stingrs noteikums.
Politikas gradienti vienmēr konverģē uz optimālo politiku.
Politikas gradienta metodes garantēti konverģēs uz lokāli optimālu politiku saskaņā ar standarta gluduma pieņēmumiem, nevis uz globāli optimālu. Optimizācijas ainavai var būt daudz maksimumu, un algoritms apmetīsies uz tā maksimuma, pie kura noved tā sākuma punkts.
Uz vērtībām balstītām metodēm nav nepieciešama nekāda politikas reprezentācija.
Pat uz vērtībām balstītas metodes netieši definē politiku, izmantojot savu darbības atlases noteikumu, piemēram, mantkārīgu vai epsilon-mantkārīgu. Atšķirība ir tāda, ka politika netiek tieši parametrizēta un apgūta; tā tiek atvasināta no vērtību aprēķiniem.
Vairāk paraugu vienmēr atrisina nestabilitātes problēmu dziļās vērtībās balstītās metodēs.
Dziļās Q-mācīšanās nestabilitāte rodas kustīgā mērķa problēmas dēļ, kur vērtību funkcija pati dzenas pakaļ saviem atjauninājumiem. Vienkārši pievienojot vairāk datu, šī problēma netiek atrisināta; apmācības stabilizēšanai ir nepieciešamas tādas metodes kā mērķa tīkli, dubultā Q-mācīšanās un prioritāra atkārtošana.
Izvēlieties uz politikām balstītas metodes, ja jūsu problēma ietver nepārtrauktas darbības, prasa dabisku stohastisku izpēti vai ja vēlaties vienmērīgus, stabilus politikas atjauninājumus. Izvēlieties uz vērtībām balstītas metodes diskrētu darbību problēmām, kurās ir svarīga izlases efektivitāte un varat izmantot pieredzes atkārtošanu. Daudziem reālās pasaules uzdevumiem aktiera-kritiķa hibrīdi piedāvā praktisku kompromisu, kas apvieno abu stiprās puses.
A/B testēšana modeļu apkalpošanā novirza trafiku starp konkurējošām modeļu versijām, lai novērtētu reālo veiktspēju, savukārt viena modeļa ieviešana visiem lietotājiem nosūta vienu modeli. Komandas izvēlas starp tiem, pamatojoties uz riska toleranci, trafika apjomu un statistiskās validācijas nepieciešamību pirms pilnīgas ieviešanas.
A/B testēšana satura izlaidumos ietver variāciju ieviešanu dažādiem auditorijas segmentiem un veiktspējas mērīšanu, savukārt vienreizēji satura izlaidumi vienlaikus nodrošina vienu versiju visiem lietotājiem. Katra pieeja atbilst dažādiem mērķiem, A/B testēšanai dodot priekšroku uz datiem balstītai optimizācijai, bet vienreizējiem izlaidumiem prioritāte ir ātrums un vienkāršība.
Adaptīvā izguve dinamiski pielāgo, kā un kādu informāciju sistēma izgūst, pamatojoties uz vaicājumu, savukārt statiskās izguves cauruļvadi ievēro fiksētus noteikumus neatkarīgi no konteksta. Abas nodrošina modernas mākslīgā intelekta lietojumprogrammas, taču tās ievērojami atšķiras pēc elastības, izmaksām un precizitātes. Izvēle starp tām ir atkarīga no darba slodzes sarežģītības un budžeta.
Šajā detalizētajā salīdzinājumā tiek pētītas adaptīvo intelekta dzinēju arhitektūras atšķirības, darbības ierobežojumi un reālā veiktspēja salīdzinājumā ar fiksētas uzvedības automatizācijas sistēmām. Mēs aplūkojam, kā sistēmas, kas nepārtraukti mācās no jauniem vides datiem, atbilst stingrām, paredzamām, uz noteikumiem balstītām sistēmām.
Aģentu apmācība vidēs ietver mācīšanos, izmantojot reāllaika mijiedarbību ar simulētu vai fizisku vidi, savukārt bezsaistes datu kopu apmācība balstās uz iepriekš apkopotiem datiem bez papildu piekļuves videi. Abas pieejas apmāca mašīnmācīšanās modeļus, taču būtiski atšķiras tas, kā aģenti apkopo pieredzi un uzlabo veiktspēju.
