Modeļu nesaturoša un modeļu pastiprināšanas mācīšanās ir divas principiāli atšķirīgas pieejas mākslīgā intelekta aģentu apmācībai, izmantojot izmēģinājumu un kļūdu metodi. Modeļu nesaturošas metodes mācās tieši no pieredzes, neizprotot savu vidi, savukārt modeļu metodes veido iekšēju pasaules darbības attēlojumu, lai plānotu nākotni.
RL pieeja, kurā aģenti apgūst optimālas darbības tieši no vides mijiedarbības, neveidojot iekšēju pasaules modeli.
RL pieeja, kurā aģenti konstruē savas vides dinamikas iekšējo modeli, lai simulētu rezultātus un plānotu turpmākās darbības.
| Funkcija | Modeļu nesaturoša pastiprināšanas mācīšanās | Uz modeļiem balstīta pastiprināšanas mācīšanās |
|---|---|---|
| Parauga efektivitāte | Zems — nepieciešamas miljoniem mijiedarbību | Augsts — mācās no daudz mazāk mijiedarbībām |
| Aprēķina izmaksas | Zemāks treniņu laikā, nav plānošanas izmaksu | Augstāks modeļa apguves un plānošanas soļu dēļ |
| Atmiņas prasības | Saglabā tikai politikas vai vērtības funkciju | Veikalu politika plus apgūtās vides modelis |
| Plānošanas spējas | Nav skaidras plānošanas, reaktīvas politikas | Var simulēt un plānot vairākus soļus uz priekšu |
| Īstenošanas sarežģītība | Parasti vienkāršāk ieviest | Sarežģītāka modeļa apguves komponentes dēļ |
| Vispārināšana jauniem uzdevumiem | Ierobežots — katram jaunam uzdevumam ir jāapgūst no jauna | Labāk — modeli var pārnest starp uzdevumiem |
| Noturība pret modeļa kļūdām | Neietekmē modeļa neprecizitātes | Neaizsargāts pret salikto modeļu kļūdām |
| Ievērojami algoritmi | DQN, PPO, SAC, A3C | Dyna, MBPO, Sapņotājs, MuZero |
Galvenā atšķirība slēpjas tajā, kā katra metode iegūst zināšanas. Bezmodeļveida RL uztver vidi kā melno kasti, mācoties tikai no ieguvumiem un pārejām, ko tā novēro reālas mijiedarbības laikā. Iedomājieties to kā velosipēda vadīšanas apguvi, tikai atkārtoti mēģinot. Savukārt uz modeļiem balstīta RL vispirms cenšas izprast vides noteikumus, izveidojot paredzošu modeli, kas var atbildēt uz tādiem jautājumiem kā "kas notiktu, ja es izdarītu X?". Šī fundamentālā atšķirība ietekmē visu, sākot no datu prasībām līdz galīgajai veiktspējai.
Izlases efektivitāte ir tā, kur uz modeļiem balstītas metodes patiešām izceļas. Modeļa nesaturošam aģentam uzdevuma izpildei var būt nepieciešami miljoniem vai pat miljardiem vides soļu, savukārt uz modeļiem balstīts aģents bieži vien var sasniegt līdzīgu veiktspēju ar tūkstošiem soļu. Tas ir ārkārtīgi svarīgi reālās pasaules lietojumprogrammās, kur pieredzes vākšana ir dārga, piemēram, robotikā vai veselības aprūpē. Tomēr bezmodeļa metodes to kompensē ar to, ka ir vienkāršākas un stabilākas, jo tām nav jāuztraucas par to, vai apgūtais modelis ir precīzs.
Uz modeļiem balstīti aģenti var domāt pirms rīcības, veicot simulācijas, izmantojot savu iekšējo modeli. Tas ļauj izmantot sarežģītas plānošanas stratēģijas, piemēram, Montekarlo koku meklēšanu, kas slaveni nodrošināja AlphaZero šaha meistarību. Turpretī bezmodeļu aģenti reaģē tieši, pamatojoties uz apgūto politiku, bez jebkādas iepriekšējas izpētes. Lai gan tas padara tos ātrākus lēmumu pieņemšanas laikā, tas arī nozīmē, ka viņi nevar spriest par ilgtermiņa sekām tā, kā to var uz modeļiem balstītas sistēmas.
Izvēle starp šīm pieejām bieži vien ir atkarīga no jūsu īpašajiem ierobežojumiem. Modeļu nesaturoša RL dominē scenārijos ar lētu simulāciju, piemēram, spēļu spēlēšanā vai liela mēroga valodu modeļu precizēšanā ar RLHF. Uz modeļiem balstīta RL izceļas, ja vides mijiedarbība ir dārga vai bīstama, piemēram, autonomā braukšanā, robotikā un zāļu atklāšanā. Hibrīdas pieejas, piemēram, MuZero, ir parādījušas, ka abu paradigmu apvienošana var ietvert katras paradigmas priekšrocības, vienlaikus mazinot to individuālās vājības.
Modeļu nesaturošas metodes parasti ir paredzamākas ieviešanā, jo to uzvedība ir atkarīga tikai no apgūtās politikas. Uz modeļiem balstītas sistēmas saskaras ar modeļa neobjektivitātes problēmu, kur neprecizitātes apgūtajā dinamikā uzkrājas plānošanas laikā un var novest pie sliktiem lēmumiem. Pētnieki to risina, izmantojot tādas metodes kā nenoteiktības novērtēšana, robusta plānošana un ansambļa modeļi, taču tā joprojām ir aktīva pētījumu joma, kas apgrūtina uz modeļiem balstītu pieeju uzticamu ieviešanu.
Uz modeli balstīta RL vienmēr ir pārāka, jo tā izmanto plānošanu.
Uz modeļiem balstītas metodes ne vienmēr ir labākas. Ja simulācija ir lēta un vide ir pietiekami sarežģīta, ka precīza modeļa apgūšana ir sarežģīta, pieejas bez modeļiem bieži vien ir labākas. Ir spēkā princips "bezmaksas pusdienas nav", kas nozīmē, ka labākā izvēle ir atkarīga no jūsu konkrētajiem problēmas ierobežojumiem.
Bez modeļa RL nevar plānot vai domāt uz priekšu.
Lai gan bezmodeļa aģenti tieši neplāno lēmumu pieņemšanas brīdī, tie joprojām var apgūt netiešu plānošanas uzvedību, izmantojot apmācību. Rekurentās politikas un uzmanības mehānismi ļauj bezmodeļa aģentiem izstrādāt iekšējas reprezentācijas, kas atbalsta daudzpakāpju spriešanu pat bez tieša pasaules modeļa.
Uz modeli balstīta RL prasa perfektas zināšanas par vides dinamiku.
Mūsdienu uz modeļiem balstītas metodes apgūst savu dinamikas modeli no datiem, nevis pieprasa to iepriekš norādīt. Modelis parasti ir aptuvens un nepilnīgs, tāpēc modeļu nenoteiktības apstrādes metodes ir aktīva pētniecības joma.
Šīs divas pieejas ir pilnīgi atšķirīgas un nesavienojamas.
Daudzas modernākās sistēmas apvieno abas paradigmas. Piemēram, MuZero apgūst latentu vides modeli un izmanto to plānošanai, vienlaikus izmantojot bezmodeļa mācīšanās metodes. Dyna arhitektūra nepārprotami apvieno apgūtos modeļus ar bezmodeļa mācīšanos, lai iegūtu labāko no abām pasaulēm.
Bezmodeļa RL ir novecojis un ir aizstāts ar uz modeļiem balstītām metodēm.
Bezmodeļu RL joprojām ir ļoti aktuāla un plaši izmantota. PPO un SAC ir standarta rīki robotikā, spēļu mākslīgajā intelektā un lielu valodu modeļu apmācībā. Daudzos praktiskos pielietojumos joprojām tiek dota priekšroka bezmodeļu metodēm to vienkāršības un uzticamības dēļ.
Izvēlieties pastiprināšanas mācīšanos bez modeļa, ja jums ir pieejami plaši skaitļošanas resursi un piekļuve lētai simulācijai, un jūsu uzdevumam nav nepieciešama plaša plānošana vai pārnešana uz jaunām vidēm. Izvēlieties uz modeļiem balstītu pastiprināšanas mācīšanos, ja svarīga ir izlases efektivitāte, mijiedarbība ar vidi ir dārga vai jūsu aģentam ir jāplāno vairāki soļi uz priekšu un jāvispārina starp saistītiem uzdevumiem.
A/B testēšana modeļu apkalpošanā novirza trafiku starp konkurējošām modeļu versijām, lai novērtētu reālo veiktspēju, savukārt viena modeļa ieviešana visiem lietotājiem nosūta vienu modeli. Komandas izvēlas starp tiem, pamatojoties uz riska toleranci, trafika apjomu un statistiskās validācijas nepieciešamību pirms pilnīgas ieviešanas.
A/B testēšana satura izlaidumos ietver variāciju ieviešanu dažādiem auditorijas segmentiem un veiktspējas mērīšanu, savukārt vienreizēji satura izlaidumi vienlaikus nodrošina vienu versiju visiem lietotājiem. Katra pieeja atbilst dažādiem mērķiem, A/B testēšanai dodot priekšroku uz datiem balstītai optimizācijai, bet vienreizējiem izlaidumiem prioritāte ir ātrums un vienkāršība.
Adaptīvā izguve dinamiski pielāgo, kā un kādu informāciju sistēma izgūst, pamatojoties uz vaicājumu, savukārt statiskās izguves cauruļvadi ievēro fiksētus noteikumus neatkarīgi no konteksta. Abas nodrošina modernas mākslīgā intelekta lietojumprogrammas, taču tās ievērojami atšķiras pēc elastības, izmaksām un precizitātes. Izvēle starp tām ir atkarīga no darba slodzes sarežģītības un budžeta.
Šajā detalizētajā salīdzinājumā tiek pētītas adaptīvo intelekta dzinēju arhitektūras atšķirības, darbības ierobežojumi un reālā veiktspēja salīdzinājumā ar fiksētas uzvedības automatizācijas sistēmām. Mēs aplūkojam, kā sistēmas, kas nepārtraukti mācās no jauniem vides datiem, atbilst stingrām, paredzamām, uz noteikumiem balstītām sistēmām.
Aģentu apmācība vidēs ietver mācīšanos, izmantojot reāllaika mijiedarbību ar simulētu vai fizisku vidi, savukārt bezsaistes datu kopu apmācība balstās uz iepriekš apkopotiem datiem bez papildu piekļuves videi. Abas pieejas apmāca mašīnmācīšanās modeļus, taču būtiski atšķiras tas, kā aģenti apkopo pieredzi un uzlabo veiktspēju.
