Izpēte un izmantošana ir divas konkurējošas pastiprināšanas mācīšanās stratēģijas, kas nosaka, kā aģents apkopo zināšanas, salīdzinot ar to, kā tas izmanto jau zināmās zināšanas. Šo pieeju līdzsvarošana ir viens no galvenajiem izaicinājumiem intelektuālo sistēmu apmācībā pieņemt optimālus lēmumus laika gaitā.
Stratēģija, kurā tiek izmēģinātas jaunas darbības, lai atklātu nezināmas atlīdzības un apkopotu informāciju par vidi.
Stratēģija, kurā, pamatojoties uz pašreizējām zināšanām, tiek izvēlēta vispazīstamākā darbība, lai maksimāli palielinātu tūlītēju atlīdzību.
| Funkcija | Izpēte | Ekspluatācija pastiprināšanas mācībās |
|---|---|---|
| Galvenais mērķis | Atklājiet jaunu informāciju par vidi | Maksimāli palieliniet tūlītējo atlīdzību, izmantojot zināmu informāciju |
| Riska līmenis | Augstāks īstermiņa risks, lielāka ilgtermiņa mācīšanās | Zemāks īstermiņa risks, iespējama ilgtermiņa stagnācija |
| Tipiskas metodes | Epsilon-mantkārība, UCB, Thompson izlase, ziņkārības vadītas atlīdzības | Alkatīga politika, Bolcmana metode ar zemu temperatūru, labākās darbības izvēle |
| Zināšanu prasības | Vislabāk darbojas, ja aģentam ir maz iepriekšējo datu | Vislabāk darbojas, ja aģentam ir uzticamas vērtības aplēses |
| Atalgojuma uzvedība | Var upurēt pašreizējo atlīdzību nākotnes ieguvumu vārdā | Pastāvīgi tiecas pēc augstākās zināmās atlīdzības |
| Kļūmes režīms | Tērē laiku neproduktīvām darbībām | Iestrēgst suboptimālos lokālajos maksimumos |
| Lietošanas gadījuma stiprums | Retas atlīdzības, lielas stāvokļu telpas, agrīna apmācība | Vēla apmācība, stabila vide, precīza noregulēšana |
| Iegūtā informācija | Augsts — atklāj jaunus valsts rīcības rezultātus | Zems — apstiprina esošos uzskatus |
Izpēte un izmantošana pastiprināšanas mācīšanās ciklā kalpo principiāli atšķirīgiem mērķiem. Izpēte apzināti atkāpjas no darbības, kas tiek uzskatīta par labāko, lai uzzinātu, vai pastāv kaut kas labāks. Turpretī izmantošana pilnībā pakļaujas aģenta pašreizējam labākajam novērtējumam. Spriedze starp tām bieži tiek veidota kā kompromiss starp zināšanu vākšanu un rīkošanos, pamatojoties uz tām.
Aģents, kas pārāk daudz izpēta, iespējams, nekad neapstāsies pie spēcīgas politikas, savukārt tas, kas pārāk agri izmanto resursus, var nofiksēties viduvējā stratēģijā. Pētījumi par daudzroku bandītiem ir parādījuši, ka optimālais līdzsvars laika gaitā mainās: sākumā izpēte atmaksājas, jo nenoteiktība ir augsta, bet, pieaugot pārliecībai, izmantošana kļūst par racionālu izvēli. Algoritmi, piemēram, UCB1 un sabrūkošais epsilon-mantkārīgais algoritms, matemātiski formalizē šo maiņu.
Izpētes metodes parasti ievieš nejaušības vai bonusa signālus darbības izvēlē, piemēram, epsilon-greedy nejaušās izvēles vai ziņkārības moduļus, kas atalgo jaunus stāvokļus. Izmantošana parasti tiek īstenota, vienkārši izvēloties vērtības funkcijas argmax vai visaugstākās varbūtības darbību no politikas tīkla. Dziļās pastiprināšanas mācīšanās metodes, piemēram, trokšņainie tīkli un entropijas bonusi, sapludina robežu, iestrādājot izpēti tieši tīkla parametros.
Katras stratēģijas relatīvā nozīme ir ļoti atkarīga no vides. Blīvas atalgojuma vidēs, kur atgriezeniskā saite ir bieža, izmantošana var dominēt agrāk, jo aģents mācās ātri. Vidēs ar nelielu atalgojumu, piemēram, Montezumas atriebībā vai reālās pasaules robotikas uzdevumos, izpēte kļūst par sarežģītāku problēmu, kurai bieži vien ir nepieciešama sarežģīta iekšējā motivācija, lai vispār gūtu progresu.
Neviena no stratēģijām nav pārāka atsevišķi, tāpēc šajā jomā tās tiek uzskatītas par saistītu dilemmu, nevis konkurējošām iespējām. Efektīvi algoritmi plāno izpēti dinamiski, samazinot to apmācības gaitā vai samazinoties nenoteiktībai par konkrētām darbībām. Slavenā "bezmaksas pusdienu" teorēma atgādina praktiķiem, ka neviens izpētes grafiks nederēs vislabāk katrai problēmai.
Izpēte un izmantošana ir divi atsevišķi algoritmi, starp kuriem jūs izvēlaties.
Tās ir papildinošas stratēģijas, kuras gandrīz katrs pastiprināšanas mācīšanās algoritms apvieno zināmā mērā. Pat mantkārīga politika netieši tiek pētīta agrīnās apmācības laikā, kad tās vērtību aprēķini joprojām ir neprecīzi un faktiski nejauši.
Vairāk izpētes vienmēr noved pie labāka gala rezultāta.
Pārmērīga izpēte var liegt aģentam jebkad apņemties ievērot stingru politiku, īpaši vidē, kur labas darbības ir retas. Māksla slēpjas izpētes plānošanā tā, lai tā izzustu, zināšanām uzlabojoties.
Izpētes un izmantošanas kompromiss ir svarīgs tikai pastiprināšanas mācīšanās gadījumā.
Tā pati dilemma parādās daudzroku bandītu teorijā, Bajesa optimizācijā, evolūcijas meklēšanā un pat cilvēku lēmumu pieņemšanā. Pastiprināšanas mācīšanās ir tikai viena no visvairāk pētītajām vidēm.
Kad aģents ir pietiekami izpētījis, ekspluatācija vienmēr ir pareizā izvēle.
Nestacionārās vidēs, kur atlīdzības funkcija laika gaitā mainās, nepārtraukta izpēte saglabā vērtību mūžīgi. Aģentam ir pastāvīgi jāpārbauda, vai tā vecie pieņēmumi joprojām ir spēkā.
Nejaušas darbības ir vienīgais veids, kā izpētīt.
Mūsdienu izpētes stratēģijas ir daudz sarežģītākas nekā tīra nejaušība. Augšējās ticamības robežas, Tompsona izlase un iekšējās ziņkāres moduļi visi izpēta strukturētā, informētā veidā, kas ir daudz efektīvāks izlases ziņā.
Izvēlieties izpētes stratēģijas, ja vide ir nepazīstama, atlīdzības ir niecīgas vai stāvokļu telpa ir pietiekami liela, lai, visticamāk, pastāvētu neatklāti augstas vērtības reģioni. Pārejiet uz izmantošanu, kad aģents ir izveidojis ticamus vērtību aprēķinus un nezināmu darbību izmēģināšanas izmaksas atsver potenciālo ieguvumu. Labākās pastiprināšanas mācīšanās sistēmas abus uzskata par partneriem, nevis konkurentiem, rūpīgi tos plānojot visā apmācības procesā.
A/B testēšana modeļu apkalpošanā novirza trafiku starp konkurējošām modeļu versijām, lai novērtētu reālo veiktspēju, savukārt viena modeļa ieviešana visiem lietotājiem nosūta vienu modeli. Komandas izvēlas starp tiem, pamatojoties uz riska toleranci, trafika apjomu un statistiskās validācijas nepieciešamību pirms pilnīgas ieviešanas.
A/B testēšana satura izlaidumos ietver variāciju ieviešanu dažādiem auditorijas segmentiem un veiktspējas mērīšanu, savukārt vienreizēji satura izlaidumi vienlaikus nodrošina vienu versiju visiem lietotājiem. Katra pieeja atbilst dažādiem mērķiem, A/B testēšanai dodot priekšroku uz datiem balstītai optimizācijai, bet vienreizējiem izlaidumiem prioritāte ir ātrums un vienkāršība.
Adaptīvā izguve dinamiski pielāgo, kā un kādu informāciju sistēma izgūst, pamatojoties uz vaicājumu, savukārt statiskās izguves cauruļvadi ievēro fiksētus noteikumus neatkarīgi no konteksta. Abas nodrošina modernas mākslīgā intelekta lietojumprogrammas, taču tās ievērojami atšķiras pēc elastības, izmaksām un precizitātes. Izvēle starp tām ir atkarīga no darba slodzes sarežģītības un budžeta.
Šajā detalizētajā salīdzinājumā tiek pētītas adaptīvo intelekta dzinēju arhitektūras atšķirības, darbības ierobežojumi un reālā veiktspēja salīdzinājumā ar fiksētas uzvedības automatizācijas sistēmām. Mēs aplūkojam, kā sistēmas, kas nepārtraukti mācās no jauniem vides datiem, atbilst stingrām, paredzamām, uz noteikumiem balstītām sistēmām.
Aģentu apmācība vidēs ietver mācīšanos, izmantojot reāllaika mijiedarbību ar simulētu vai fizisku vidi, savukārt bezsaistes datu kopu apmācība balstās uz iepriekš apkopotiem datiem bez papildu piekļuves videi. Abas pieejas apmāca mašīnmācīšanās modeļus, taču būtiski atšķiras tas, kā aģenti apkopo pieredzi un uzlabo veiktspēju.
