Uz gradientiem balstīta politikas optimizācija apgūst kontroles stratēģijas, izmantojot izmēģinājumu un kļūdu atlīdzības signālus, savukārt uz noteikumiem balstītas vadības sistēmas seko ar roku kodētai loģikai. Viena pielāgojas sarežģītām vidēm, izmantojot pieredzi, otra piedāvā paredzamu, caurspīdīgu uzvedību bez apmācības datiem.
Pastiprināšanas mācīšanās pieeja, kas pielāgo politikas parametrus, izmantojot gradienta signālus, kas iegūti no atlīdzības atgriezeniskās saites.
Vadības arhitektūras, kas darbojas ar iepriekš definētiem loģiskiem nosacījumiem, sliekšņiem un inženieru izstrādātiem "ja-tad" priekšrakstiem.
| Funkcija | Gradientu balstīta politikas optimizācija | Uz noteikumiem balstītas vadības sistēmas |
|---|---|---|
| Mācību pieeja | Mācās no atlīdzības signāliem, izmantojot gradienta atjauninājumus | Izpilda iepriekš ieprogrammētus noteikumus bez mācīšanās |
| Datu prasības | Nepieciešams liels mijiedarbības datu apjoms | Nav nepieciešami apmācības dati |
| Interpretējamība | Bieži vien tā ir melnā kaste; politikas svari ir neskaidri | Pilnībā caurspīdīgs; noteikumus var lasīt tieši |
| Pielāgošanās spēja | Pielāgojas jaunām situācijām, pateicoties nepārtrauktai apmācībai | Labots izstrādes laikā; nepieciešami manuāli atjauninājumi |
| Izvietošanas ātrums | Lēns; bieži vien ir nepieciešamas vairākas nedēļas vai pat mēnešus ilgas apmācības | Ātri; izvietojiet, tiklīdz noteikumi ir uzrakstīti un pārbaudīti |
| Augstas dimensijas ievades apstrāde | Izcili darbojas ar neapstrādātiem pikseļiem, sensoru masīviem un sarežģītām stāvokļu telpām | Grūtības bez manuālas funkciju izstrādes |
| Drošības garantijas | Grūti oficiāli pārbaudīt; var uzrādīt negaidītu uzvedību | Vieglāk pārbaudīt, izmantojot formālas metodes un testēšanu |
| Aprēķina izmaksas izpildes laikā | Augstāks; nepieciešama neironu tīkla secinājumu veikšana | Zemāks; pietiek ar vienkāršām loģiskām darbībām |
Uz gradientu balstīta politikas optimizācija darbojas, parametrizējot politiku, parasti kā neironu tīklu, un pēc tam mainot tās svarus virzienos, kas palielina paredzamo atlīdzību. Sistēma pēta darbības, novēro rezultātus un izmanto atlīdzības signāla gradientu, lai laika gaitā uzlabotu sniegumu. Turpretī uz noteikumiem balstītas sistēmas seko fiksētam lēmumu kokam vai loģisko nosacījumu kopumam. Inženieris raksta kaut ko līdzīgu "ja temperatūra pārsniedz 90 °C, samaziniet jaudu", un kontrolieris katru reizi bez novirzēm pakļaujas šim noteikumam.
Lai politikas gradienta metode darbotos, ir jādefinē atlīdzības funkcija, jāizveido mijiedarbības vide un jāveic optimizācija, līdz politika konverģē, kas var aizņemt vairākas dienas vai nedēļas ilgu aprēķinu darbu. Uz noteikumiem balstītas sistēmas to visu izlaiž. Domēna eksperts pārvērš zināšanas kodā, to testē un nosūta. Kompromiss ir tāds, ka uz noteikumiem balstītas sistēmas zina tikai to, ko jūs tām sakāt, savukārt apgūtas politikas var atklāt stratēģijas, ko neviens programmētājs nav tieši uzrakstījis.
Kad uz noteikumiem balstīts kontrolieris nedarbojas pareizi, var izsekot precīzu nosacījumu, kas izraisīja nepareizu izvadi. Šāda veida auditējamība ir iemesls, kāpēc uz noteikumiem balstītas sistēmas dominē aviācijas, medicīnas ierīču un atomelektrostaciju vadībā. Politikas gradienta metodes nepiedāvā šādu greznību. To uzvedība izriet no miljoniem svara vērtību, un pat pētniekiem dažreiz ir grūti izskaidrot, kāpēc apmācīts aģents izvēlējās konkrētu darbību noteiktā stāvoklī.
Uzdevumiem ar bagātīgu sensoro ievadi, piemēram, Atari spēļu spēlēšanai no neapstrādātiem pikseļiem vai humanoīda robota ar desmitiem locītavu vadīšanai, uz gradientiem balstītām metodēm ir nepārprotamas priekšrocības. Tās automātiski apgūst hierarhiskas funkcijas un var apstrādāt nepārtrauktas darbības telpas, kuras nebūtu praktiski kodēt manuāli. Uz noteikumiem balstītas sistēmas šādos apstākļos mēdz sasniegt plato stāvokli, jo nepieciešamo noteikumu skaits eksponenciāli pieaug līdz ar ievades sarežģītību.
Regulētās nozares parasti dod priekšroku uz noteikumiem balstītām sistēmām, jo tās var formāli pārbaudīt. Var pierādīt, ka kontrolieris nekad nenonāks noteiktos nedrošos stāvokļos. Apgūtās politikas pretojas šāda veida analīzei, lai gan pētījumi par pārbaudāmu pastiprinājuma mācīšanos turpinās. Hibrīdas pieejas, kur uz noteikumiem balstīts drošības slānis aptver apgūto politiku, kļūst populāras kā kompromiss.
Politikas gradienta metodes vienmēr pārspēj uz noteikumiem balstītas sistēmas.
Precīzi definētos rūpnieciskās vadības uzdevumos pareizi noregulēts uz noteikumiem balstīts kontrolieris bieži vien atbilst apgūtajai politikai vai to pārspēj, izmantojot tikai daļu no skaitļošanas jaudas. Apgūtās metodes labi izskatās jomās, kur noteikumu rakstīšana manuāli ir nepraktiska, bet ne visās problēmās.
Mūsdienu mākslīgajā intelektā uz noteikumiem balstītas sistēmas ir novecojušas.
Uz noteikumiem balstītas sistēmas joprojām ir drošībai kritiskas infrastruktūras mugurkauls, sākot no lidmašīnu autopilotiem līdz medicīniskajiem infūzijas sūkņiem. Tās bieži tiek apvienotas ar apgūtiem komponentiem hibrīdarhitektūrās, nevis pilnībā aizstātas.
Kad politikas gradienta aģents ir apmācīts, tas ir “pabeigts” un tam nekad nav nepieciešami atjauninājumi.
Sadalījuma nobīde, sensoru nobīde un mainīga vide var pasliktināt apmācītas politikas veiktspēju. Daudzas ieviestās sistēmas ietver nepārtrauktu mācīšanos vai periodisku atkārtotu apmācību, lai saglabātu efektivitāti.
Uz noteikumiem balstītas sistēmas nevar tikt galā ar nenoteiktību.
Izplūdušās loģikas kontrolieri un varbūtības noteikumu sistēmas jau gadu desmitiem tiek galā ar nenoteiktību. Lai spriestu par trokšņainām ievades vērtībām, tās izmanto piederības funkcijas un ticamības sliekšņus, nevis precīzus Būla nosacījumus.
Politikas gradienta metodes vienmēr konverģē uz optimālo politiku.
Konverģences garantijas pastāv tikai ierobežojošu pieņēmumu gadījumā. Praksē politikas bieži vien nostājas lokāli optimālos apstākļos, un atlīdzības funkcijas dizains būtiski ietekmē to, ko vispār nozīmē “optimāls”.
Izvēlieties uz gradientiem balstītu politikas optimizāciju, ja vide ir pārāk sarežģīta manuālai kodēšanai, ja jums ir daudz simulācijas vai mijiedarbības datu un ja maksimāla veiktspēja ir svarīgāka par interpretējamību. Izvēlieties uz noteikumiem balstītas vadības sistēmas, ja nepieciešama drošības sertifikācija, ja problēma ir labi izprasta vai ja jums ir nepieciešams darbojošs risinājums jau šodien bez apmācības infrastruktūras.
A/B testēšana modeļu apkalpošanā novirza trafiku starp konkurējošām modeļu versijām, lai novērtētu reālo veiktspēju, savukārt viena modeļa ieviešana visiem lietotājiem nosūta vienu modeli. Komandas izvēlas starp tiem, pamatojoties uz riska toleranci, trafika apjomu un statistiskās validācijas nepieciešamību pirms pilnīgas ieviešanas.
A/B testēšana satura izlaidumos ietver variāciju ieviešanu dažādiem auditorijas segmentiem un veiktspējas mērīšanu, savukārt vienreizēji satura izlaidumi vienlaikus nodrošina vienu versiju visiem lietotājiem. Katra pieeja atbilst dažādiem mērķiem, A/B testēšanai dodot priekšroku uz datiem balstītai optimizācijai, bet vienreizējiem izlaidumiem prioritāte ir ātrums un vienkāršība.
Adaptīvā izguve dinamiski pielāgo, kā un kādu informāciju sistēma izgūst, pamatojoties uz vaicājumu, savukārt statiskās izguves cauruļvadi ievēro fiksētus noteikumus neatkarīgi no konteksta. Abas nodrošina modernas mākslīgā intelekta lietojumprogrammas, taču tās ievērojami atšķiras pēc elastības, izmaksām un precizitātes. Izvēle starp tām ir atkarīga no darba slodzes sarežģītības un budžeta.
Šajā detalizētajā salīdzinājumā tiek pētītas adaptīvo intelekta dzinēju arhitektūras atšķirības, darbības ierobežojumi un reālā veiktspēja salīdzinājumā ar fiksētas uzvedības automatizācijas sistēmām. Mēs aplūkojam, kā sistēmas, kas nepārtraukti mācās no jauniem vides datiem, atbilst stingrām, paredzamām, uz noteikumiem balstītām sistēmām.
Aģentu apmācība vidēs ietver mācīšanos, izmantojot reāllaika mijiedarbību ar simulētu vai fizisku vidi, savukārt bezsaistes datu kopu apmācība balstās uz iepriekš apkopotiem datiem bez papildu piekļuves videi. Abas pieejas apmāca mašīnmācīšanās modeļus, taču būtiski atšķiras tas, kā aģenti apkopo pieredzi un uzlabo veiktspēju.
