Ilgtermiņa atlīdzības optimizācija koncentrējas uz kumulatīvo rezultātu maksimizēšanu ilgākā laika posmā, savukārt īstermiņa precizitātes optimizācija piešķir prioritāti tūlītējai pareizībai atsevišķos uzdevumos. Šīs divas mākslīgā intelekta apmācības filozofijas ietekmē to, kā aģenti mācās, vispārina un uzvedas dinamiskās vidēs.
Mākslīgā intelekta apmācības pieeja, kas maksimāli palielina kumulatīvo atlīdzību ilgākā laika periodā, nevis tūlītējas uzdevumu izpildes laikā.
Apmācības paradigma, kas piešķir prioritāti tūlītējai pareizībai atsevišķās prognozēs vai klasifikācijas uzdevumos.
| Funkcija | Ilgtermiņa atlīdzības optimizācija | Īstermiņa precizitātes optimizācija |
|---|---|---|
| Galvenais mērķis | Maksimāli palieliniet kumulatīvo nākotnes atlīdzību | Maksimāli palielināt tūlītējas prognozēšanas precizitāti |
| Atgriezeniskās saites signāls | Kavēta, niecīga atlīdzība | Tūlītējas, blīvas etiķetes |
| Tipiski algoritmi | Q-mācīšanās, PPO, A3C, MCTS | Gradienta nolaišanās, krustentropija, atpakaļizplatīšanās |
| Apmācības datu vajadzības | Interaktīvas vides vai simulatori | Lieli marķēti datu kopumi |
| Kredītpunktu piešķiršana | Izaicinājumi tālā horizontā | Tieša attiecināšana uz piemēru |
| Aprēķina izmaksas | Augsts trajektorijas simulācijas dēļ | Vidējs, mērogojas atbilstoši datu kopas lielumam |
| Izpētes prasība | Būtiski stratēģiju atklāšanai | Minimāls, seko marķētajiem piemēriem |
| Noturība pret pārmaiņām | Pielāgojas, izmantojot pastāvīgu atlīdzības atgriezenisko saiti | Degradējas sadalījuma maiņas laikā |
| Bieži sastopamie pielietojumi | Spēļu spēlēšana, robotika, ieteikumu sistēmas | Klasifikācija, tulkošana, attēlu atpazīšana |
Ilgtermiņa atlīdzības optimizācija katru darbību traktē kā daļu no lielākas secības, kur šodienas izvēle ietekmē rezultātus minūtes, stundas vai pat dienas vēlāk. Aģents apgūst vērtības funkciju, kas novērtē, cik laba ir situācija turpmākam ieguvumam. Turpretī īstermiņa precizitātes optimizācija katru ievades-izvades pāri traktē kā neatkarīgu notikumu. Modelis vienkārši iemācās kartēt ievades datus, lai pēc iespējas ātrāk un precīzāk labotu izvades datus, neuztraucoties par turpmākajām sekām.
Ilgtermiņa sistēmās atlīdzības bieži vien tiek saņemtas reti un ar ievērojamu kavēšanos, tāpēc pastāv tādi algoritmi kā laika atšķirību apguve, lai pārvarētu plaisu starp darbību un rezultātu. Īstermiņa sistēmas bauda blīvu, tūlītēju atgriezenisko saiti, izmantojot zaudējumu funkcijas, kas salīdzina prognozes ar patiesību katrā atsevišķā piemērā. Tas padara īstermiņa apmācību stabilāku, bet arī tuvredzīgāku, jo modelis nekad neiemācās salīdzināt šodienas precizitāti ar rītdienas izmaksām.
Ilgtermiņa optimizācijas raksturīga iezīme ir nepieciešamība izpētīt nepazīstamas darbības, lai atklātu labākas stratēģijas, pat ja zināma darbība dod pienācīgu atlīdzību. Šim mērķim kalpo tādas metodes kā epsilona alkatības politika, entropijas bonusi un augšējās ticamības robežas. Īstermiņa precizitātes modeļi reti veic izpēti, jo to apmācības signāls nāk no marķētiem piemēriem, nevis no vides atlīdzības, tāpēc tie izmanto jebkādus modeļus, kas jau ir datu kopā.
Ilgtermiņa atlīdzības sistēmām parasti ir nepieciešama interaktīva vide vai sarežģīti simulatori, kuru izveide un darbība var būt dārga. Piemēram, AlphaGo ģenerēja miljoniem pašspēlējamu spēļu, pirms sasniedza pārcilvēcisku veiktspēju. Īstermiņa precizitātes sistēmas balstās uz statiskām datu kopām, kuras var atkārtoti izmantot daudzos treniņu ciklos, padarot tās lētākas iterācijai, bet arī ierobežojot tās ar jebkādām zināšanām, ko šīs datu kopas kodē.
Ilgtermiņa optimizācija izceļas secīgu lēmumu pieņemšanas problēmās, piemēram, autonomā braukšanā, dinamiskā cenu noteikšanā un sarunu aģentos, kuriem jāplāno vairāku pagriezienu dialogi. Īstermiņa precizitāte dominē uztveres uzdevumos, piemēram, medicīniskajā attēlveidošanā, surogātpasta noteikšanā un mašīntulkošanā, kur katrs ievades signāls ir patstāvīgs. Abas pieejas nav savstarpēji izslēdzošas, un mūsdienu sistēmas tās bieži apvieno, piemēram, iepriekš apmācot modeli precizitātei un pēc tam to precizējot ar pastiprinājuma mācīšanos no cilvēku atsauksmēm.
Tā kā ilgtermiņa aģenti nepārtraukti saņem atgriezenisko saiti no savas vides, tie var pielāgoties mainīgiem apstākļiem tā, kā to nevar statiskās precizitātes modeļi. Ar ilgtermiņa atlīdzības signāliem apmācīta ieteikumu sistēma pielāgosies, kad mainīsies lietotāja preferences, savukārt klasifikators, kas apmācīts īstermiņa precizitātei, var nemanāmi neizdoties, mainoties ievades sadalījumam. Šī pielāgošanās spēja tiek nodrošināta uz drošības apsvērumu rēķina, jo izpēte apmācības laikā var radīt kaitīgas darbības.
Pastiprināšanas mācīšanās vienmēr pārspēj uzraudzītu mācīšanos, jo tā optimizē ilgtermiņa mērķu sasniegšanu.
Ilgtermiņa atlīdzības optimizācija pārspēj īstermiņa precizitāti tikai tad, ja uzdevumam patiešām ir nepieciešami secīgi lēmumi. Neatkarīgu klasifikācijas vai regresijas problēmu gadījumā uzraudzītās metodes joprojām ir ātrākas, lētākas un bieži vien precīzākas.
Īstermiņa precizitātes modeļi nevar neko uzzināt par nākotnes sekām.
Lieli valodu modeļi, kas apmācīti ar nākamā marķiera paredzēšanu, var netieši uztvert tālas darbības atkarības, pat ja zaudējumu funkcija tiek aprēķināta pa vienam marķierim vienlaikus. Atšķirība ir apmācības mērķī, ne obligāti modeļa reprezentācijas spējā.
Ilgtermiņa atlīdzības optimizācijai nav nepieciešami marķēti dati.
Daudzas praktiskas sistēmas apvieno abus, izmantojot uzraudzītu iepriekšēju apmācību, lai ieviestu politiku pirms pastiprinājuma mācīšanās piemērošanas. Tīra atalgojuma balstīta mācīšanās no nulles ir reta ārpus spēlēm un simulāciju jomām.
Augstāka precizitāte testa komplektā nozīmē, ka modelis izvietošanas laikā darbosies labāk.
Testa precizitāte mēra veiktspēju statiskā sadalījumā. Reālās vidēs, kur ievades dati laika gaitā svārstās, modelis, kas optimizēts ilgtermiņa atlīdzībai, izmantojot nepārtrauktu atgriezenisko saiti, bieži vien pārspēj statisko precizitātes modeli, neskatoties uz zemākiem etalona rādītājiem.
Atalgojuma uzlaušana ir problēma tikai ilgtermiņa optimizācijai.
Jebkura sistēma ar starpniekservera mērķi var tikt manipulēta ar manipulācijām. Īstermiņa precizitātes modeļi var arī izmantot datu kopas artefaktus vai etiķešu troksni, lai palielinātu metrikas, neuzlabojot reālās pasaules lietderību.
Izvēlieties ilgtermiņa atlīdzības optimizāciju, ja jūsu problēma ietver secīgus lēmumus, kur agrīnas darbības veido vēlākus rezultātus, piemēram, robotikā, spēļu spēlēšanā vai adaptīvās sistēmās. Izvēlieties īstermiņa precizitātes optimizāciju, ja jums ir nepieciešamas uzticamas un ātras prognozes neatkarīgiem piemēriem, piemēram, klasifikācijai, noteikšanai vai tulkošanai. Praksē spēcīgākās mākslīgā intelekta sistēmas bieži apvieno abus, izmantojot uz precizitāti orientētu iepriekšēju apmācību, kam seko uz atlīdzību balstīta precizēšana.
A/B testēšana modeļu apkalpošanā novirza trafiku starp konkurējošām modeļu versijām, lai novērtētu reālo veiktspēju, savukārt viena modeļa ieviešana visiem lietotājiem nosūta vienu modeli. Komandas izvēlas starp tiem, pamatojoties uz riska toleranci, trafika apjomu un statistiskās validācijas nepieciešamību pirms pilnīgas ieviešanas.
A/B testēšana satura izlaidumos ietver variāciju ieviešanu dažādiem auditorijas segmentiem un veiktspējas mērīšanu, savukārt vienreizēji satura izlaidumi vienlaikus nodrošina vienu versiju visiem lietotājiem. Katra pieeja atbilst dažādiem mērķiem, A/B testēšanai dodot priekšroku uz datiem balstītai optimizācijai, bet vienreizējiem izlaidumiem prioritāte ir ātrums un vienkāršība.
Adaptīvā izguve dinamiski pielāgo, kā un kādu informāciju sistēma izgūst, pamatojoties uz vaicājumu, savukārt statiskās izguves cauruļvadi ievēro fiksētus noteikumus neatkarīgi no konteksta. Abas nodrošina modernas mākslīgā intelekta lietojumprogrammas, taču tās ievērojami atšķiras pēc elastības, izmaksām un precizitātes. Izvēle starp tām ir atkarīga no darba slodzes sarežģītības un budžeta.
Šajā detalizētajā salīdzinājumā tiek pētītas adaptīvo intelekta dzinēju arhitektūras atšķirības, darbības ierobežojumi un reālā veiktspēja salīdzinājumā ar fiksētas uzvedības automatizācijas sistēmām. Mēs aplūkojam, kā sistēmas, kas nepārtraukti mācās no jauniem vides datiem, atbilst stingrām, paredzamām, uz noteikumiem balstītām sistēmām.
Aģentu apmācība vidēs ietver mācīšanos, izmantojot reāllaika mijiedarbību ar simulētu vai fizisku vidi, savukārt bezsaistes datu kopu apmācība balstās uz iepriekš apkopotiem datiem bez papildu piekļuves videi. Abas pieejas apmāca mašīnmācīšanās modeļus, taču būtiski atšķiras tas, kā aģenti apkopo pieredzi un uzlabo veiktspēju.
