Aktieru-kritiķu metodes apvieno politikas gradientus ar apgūtas vērtības funkciju, lai samazinātu dispersiju un paātrinātu mācīšanos, savukārt tīras politikas gradienta metodes balstās tikai uz politikas un Montekarlo atdevi. Izvēle starp tām ir atkarīga no tā, vai nepieciešama stabilitāte un izlases efektivitāte vai vienkāršība un objektīvi aprēķini.
Hibrīdi pastiprināšanas mācīšanās algoritmi, kas savieno politikas tīklu (dalībnieku) ar vērtību novērtēšanas tīklu (kritiķi), lai nodrošinātu stabilāku apmācību.
Pastiprināšanas mācīšanās algoritmi, kas tieši optimizē parametrizētu politiku, izmantojot gradienta pieaugumu paredzamajā ienesīgumā, bez atsevišķa vērtību modeļa.
| Funkcija | Aktiera-kritiķa metodes | Tīras politikas gradienta metodes |
|---|---|---|
| Galvenais mehānisms | Apvieno politikas tīklu (dalībnieku) ar vērtību tīklu (kritiķi) | Optimizē politiku tieši, izmantojot izlases veida ienesīgumu |
| Gradienta aprēķinu dispersija | Zemāka dispersija apgūtās bāzes līnijas dēļ | Lielāka novirze no Montekarlo ienesīguma |
| Aizspriedumi | Neliela neobjektivitāte, ko ieviesa kritiķa aproksimācija | Neobjektīvi gradienta aprēķini |
| Parauga efektivitāte | Parasti augstāks, atkārtoti izmanto datus, izmantojot sāknēšanas funkciju | Zemāks, nepieciešamas pilnas sērijas vai daudzi paraugi |
| Īstenošanas sarežģītība | Sarežģītāk, nepieciešama divu tīklu apmācība | Vienkāršāk, pārvaldāms tikai viens tīkls |
| Apmācības stabilitāte | Stabilāka, pateicoties zemākai dispersijai un uzticamības reģioniem | Mazāk stabils, jutīgs pret mācīšanās ātrumu un atlīdzības skalu |
| Izpētes apstrāde | Var iekļaut entropijas bonusus vai stohastiskus kritiķus | Dabiski stohastiska, viegli veicināma izpēte |
| Tipiski lietošanas gadījumi | Liela mēroga RL, robotika, RLHF valodu modeļiem | Vienkārši kontroles uzdevumi, pētījuma bāzes līnijas, epizodiskas problēmas |
Lielākā praktiskā atšķirība starp šīm divām saimēm ir saistīta ar to, kā tās novērtē uzlabojumu virzienu. Tīras politikas gradienta metodes balstās uz Montekarlo atdevi, kas savākta no pilnām epizodēm, kas sniedz objektīvu signālu, bet tādu, kas ievērojami svārstās atkarībā no jebkura atsevišķa ieviešanas veiksmes. Aktieru-kritiķu metodes aizstāj šo trokšņaino atdevi ar apgūtas vērtības funkciju, efektīvi atņemot bāzes līniju, kas atspoguļo paredzamo rezultātu. Rezultāts ir daudz zemākas dispersijas gradients, kas ļauj apmācībai noritēt vienmērīgāk, īpaši vidē, kur atlīdzības ir niecīgas vai aizkavētas.
Dispersijas maiņa neobjektivitātes gadījumā ir galvenais kompromiss aktiera-kritiķa dizainā. Kritiķis pats par sevi ir aproksimācija, tāpēc tā aplēses var būt kļūdainas, un šī kļūda ietekmē politikas atjaunināšanu. Tīras politikas gradienta metodes no tā pilnībā izvairās, jo tās nekad neaproksimē vērtības funkciju, bet par šo tīrību maksā ar trokšņainākiem atjauninājumiem. Praksē mūsdienu aktiera-kritiķa algoritmi, piemēram, PPO un SAC, šo kompromisu pārvalda tik labi, ka nelielā neobjektivitāte reti ir problēma, tāpēc tie dominē etalonos.
Izlases efektivitātei ir milzīga nozīme, ja mijiedarbība ar vidi ir dārga, piemēram, robotikā vai reālās pasaules dialoga sistēmās. Šeit izceļas aktiera-kritiķa metodes, jo kritiķis balstās uz savām prognozēm, ļaujot algoritmam vairākkārt mācīties no katras pārejas. Tīrām politikas gradienta metodēm parasti ir nepieciešami jauni politikas dati katram atjauninājumam, kas nozīmē vairāk vides mijiedarbību ar tādu pašu politikas uzlabojumu apjomu. Tas ir viens no iemesliem, kāpēc REINFORCE stila algoritmi ir biežāk sastopami pētniecības vidēs, kur simulācija ir lēta.
Ja vēlaties kaut ko ātri prototipējamu, tīras politikas gradienta metodes ir pievilcīgas. Jums ir nepieciešams tikai politikas tīkls, zaudējumu funkcija, kas veidota no logaritmiskajām varbūtībām, kas svērtas ar atdevi, un veids, kā apkopot trajektorijas. Aktieru-kritiķu metodes pievieno otra tīkla apmācības slogu, līdzsvarojot tā mācīšanās ātrumu ar aktiera ātrumu un nodrošinot, ka kritiķis konverģē pietiekami ātri, lai būtu noderīgs. Šī papildu sarežģītība atmaksājas veiktspējā, taču tā paceļ latiņu jaunpienācējiem.
Abas pieejas dabiski apstrādā stohastiskās politikas, taču tās veicina izpēti atšķirīgi. Tīras politikas gradienta metodes bez maksas iegūst izpēti no pašas politikas entropijas, kas labi darbojas problēmās ar skaidru darbības sadalījumu. Aktieru-kritiķu metodes bieži vien pievieno mērķim skaidru entropijas bonusu, kā to slaveni dara Soft Actor-Critic metode, lai novērstu politikas pārāk agru sabrukšanu. Tas padara aktieru-kritiķu variantus robustākus uzdevumos, kuros aģents citādi varētu iestrēgt suboptimālā uzvedībā.
Aktieru-kritiķu metodes ir pilnīgi atšķirīga algoritmu saime no politikas gradientiem.
Aktieru-kritiķu metodes faktiski ir politikas gradientu metožu apakškopa. Tās aprēķina to pašu politikas gradientu, bet dispersijas samazināšanai izmanto apgūtas vērtības funkciju, nevis paļaujas uz neapstrādātiem rezultātiem.
Tīras politikas gradienta metodes vienmēr konverģē ātrāk, jo tās ir objektīvas.
Objektivitāte nenozīmē ātru konverģenci. Montekarlo aprēķinu augstā dispersija bieži vien ievērojami palēnina apmācību, īpaši ilgtermiņa uzdevumos, kur atlīdzības tiek sniegtas ar nokavēšanos.
Aktiera-kritiķa metodes nevar darboties ar nepārtrauktām darbības telpām.
Daudzi aktierkritiķu algoritmi, tostarp SAC un DDPG, ir īpaši izstrādāti nepārtrauktai vadībai un darbojas ārkārtīgi labi robotikā un uz fiziku balstītā simulācijā.
Lai labi veiktu pastiprinājuma mācīšanos, vienmēr ir nepieciešams kritiķis.
Tīras politikas gradienta metodes, piemēram, REINFORCE un TRPO, ir atrisinājušas daudzas problēmas bez kritiķa. Kritiķis ir instruments dispersijas samazināšanai, nevis stingra prasība.
PPO ir tīra politikas gradienta metode.
PPO tehniski ir aktiera-kritiķa algoritms. Politikas pusē tas izmanto ierobežotu surogātmērķi, bet priekšrocību aprēķināšanai un atjauninājumu vadīšanai tas balstās uz vērtību tīklu.
Izvēlieties tīras politikas gradienta metodes, ja vēlaties vienkāršu, objektīvu algoritmu īstermiņa problēmām vai kā tīru pētījumu bāzi. Izmantojiet aktierkritiķa metodes ikreiz, kad jums rūp izlases efektivitāte, apmācības stabilitāte vai mērogošana sarežģītām vidēm, piemēram, robotikai un lielu valodu modeļu precizēšanai.
A/B testēšana modeļu apkalpošanā novirza trafiku starp konkurējošām modeļu versijām, lai novērtētu reālo veiktspēju, savukārt viena modeļa ieviešana visiem lietotājiem nosūta vienu modeli. Komandas izvēlas starp tiem, pamatojoties uz riska toleranci, trafika apjomu un statistiskās validācijas nepieciešamību pirms pilnīgas ieviešanas.
A/B testēšana satura izlaidumos ietver variāciju ieviešanu dažādiem auditorijas segmentiem un veiktspējas mērīšanu, savukārt vienreizēji satura izlaidumi vienlaikus nodrošina vienu versiju visiem lietotājiem. Katra pieeja atbilst dažādiem mērķiem, A/B testēšanai dodot priekšroku uz datiem balstītai optimizācijai, bet vienreizējiem izlaidumiem prioritāte ir ātrums un vienkāršība.
Adaptīvā izguve dinamiski pielāgo, kā un kādu informāciju sistēma izgūst, pamatojoties uz vaicājumu, savukārt statiskās izguves cauruļvadi ievēro fiksētus noteikumus neatkarīgi no konteksta. Abas nodrošina modernas mākslīgā intelekta lietojumprogrammas, taču tās ievērojami atšķiras pēc elastības, izmaksām un precizitātes. Izvēle starp tām ir atkarīga no darba slodzes sarežģītības un budžeta.
Šajā detalizētajā salīdzinājumā tiek pētītas adaptīvo intelekta dzinēju arhitektūras atšķirības, darbības ierobežojumi un reālā veiktspēja salīdzinājumā ar fiksētas uzvedības automatizācijas sistēmām. Mēs aplūkojam, kā sistēmas, kas nepārtraukti mācās no jauniem vides datiem, atbilst stingrām, paredzamām, uz noteikumiem balstītām sistēmām.
Aģentu apmācība vidēs ietver mācīšanos, izmantojot reāllaika mijiedarbību ar simulētu vai fizisku vidi, savukārt bezsaistes datu kopu apmācība balstās uz iepriekš apkopotiem datiem bez papildu piekļuves videi. Abas pieejas apmāca mašīnmācīšanās modeļus, taču būtiski atšķiras tas, kā aģenti apkopo pieredzi un uzlabo veiktspēju.
