Mācīšanās, kas balstīta uz izmēģinājumiem un kļūdām, ko bieži sauc par pastiprinājuma mācīšanos, apmāca mākslīgo intelektu, izmantojot atlīdzības un sodus no mijiedarbības ar vidi. Mācīšanās ar marķētiem datu kopumiem, kas pazīstama kā uzraudzīta mācīšanās, māca modeļus, izmantojot iepriekš marķētus piemērus. Abas pieejas ietekmē to, kā mašīnas apgūst prasmes, taču tās būtiski atšķiras datu prasību un atgriezeniskās saites mehānismu ziņā.
Apmācības pieeja, kurā mākslīgā intelekta aģenti apgūst optimālu uzvedību, izmantojot vides atgriezenisko saiti, saņemot atlīdzību par labām darbībām un sodus par sliktām.
Apmācības metode, kurā mākslīgā intelekta modeļi apgūst modeļus no datu kopām, kas satur ievades-izvades pārus, kurus cilvēki ir manuāli anotējuši ar pareizām atbildēm.
| Funkcija | Mācīšanās, izmantojot izmēģinājumu un kļūdu metodi | Marķētas datu kopas apguve |
|---|---|---|
| Mācīšanās paradigma | Pastiprināšanas mācīšanās (RL) | Vadīta mācīšanās (SL) |
| Datu prasības | Mijiedarbības vide vai simulators | Iepriekš marķēti ieejas-izejas pāri |
| Atgriezeniskās saites signāls | Skalāras atlīdzības vai sodi par darbībām | Katram piemēram paredzētas pamatpatiesības etiķetes |
| Cilvēka anotācijas piepūle | Minimāls vai nekāds treniņa laikā | Iepriekš nepieciešama plaša marķēšana |
| Treniņa ātrums | Bieži vien lēni izpētes vajadzību dēļ | Parasti ātrāk ar tiešiem gradienta signāliem |
| Parauga efektivitāte | Parasti zems, nepieciešamas daudzas mijiedarbības | Augstāks līmenis, mācās tieši no piemēriem |
| Labākie lietošanas gadījumi | Secīgi lēmumi, spēles, robotika | Klasifikācija, regresija, prognozēšana |
| Izpētes iespējas | Iebūvēts, atklāj jaunas stratēģijas | Ierobežots ar modeļiem apmācības datos |
| Galvenie algoritmi | Q-mācīšanās, PPO, DQN, A3C | Lineārā regresija, CNN, transformatori, SVM |
Mācīšanās, izmantojot izmēģinājumu un kļūdu metodi, darbojas, ļaujot aģentam mijiedarboties ar vidi un novērojot savu darbību sekas. Kad aģents izdara kaut ko labvēlīgu, tas saņem skaitlisku atlīdzību; kad tas pieļauj kļūdu, tas saņem sodu vai nesaņem neko. Tūkstošiem vai miljoniem iterāciju aģents pakāpeniski izveido politiku, kas maksimāli palielina kumulatīvo atlīdzību. Mācīšanās ar iezīmētu datu kopu notiek pavisam citādi. Šeit cilvēki sagatavo datu kopu, kurā katra ievade ir savienota pārī ar pareizo izvadi, un modelis pielāgo savus iekšējos parametrus, lai tie pēc iespējas precīzāk atbilstu šīm atbildēm.
Viena no lielākajām praktiskajām atšķirībām ir apmācības datu iegūšanas veidā. Uzraudzītai mācīšanās prasa rūpīgi marķētus datu kopumus, un to izveide var būt milzīgs uzdevums. Piemēram, medicīniskās attēlveidošanas projektos bieži vien ir nepieciešams, lai pieredzējuši radiologi anotētu tūkstošiem skenējumu, kas palielina izmaksas simtiem tūkstošu dolāru apmērā. Pastiprināta mācīšanās apiet šo sašaurinājumu, ģenerējot savu apmācības signālu, izmantojot mijiedarbību, lai gan tā šo problēmu aizstāj ar citu: nepieciešamību pēc reālistiskas vides vai simulatora, kur aģents var droši eksperimentēt.
Kad mērķis ietver secīgu lēmumu pieņemšanu, kur svarīga ir ilgtermiņa stratēģija, mācīšanās, izmantojot izmēģinājumu un kļūdu metodi, ir īpaši noderīga. Tādas spēles kā šahs, Go un StarCraft ir iekarojuši RL aģenti, kas atklāja stratēģijas, kuras neviens cilvēks nekad nebija iecerējis. Uzraudzīta mācīšanās dominē, ja ir skaidri pareizas uzvedības piemēri un nepieciešamas uzticamas prognozes par jauniem datiem. Tādi uzdevumi kā krāpniecisku darījumu atklāšana, seju atpazīšana fotoattēlos vai tulkošana starp valodām lielā mērā balstās uz marķētām apmācības kopām, jo sasaiste no ievades līdz izvadei ir precīzi definēta.
Pastiprināšanas mācīšanās cīnās ar izlases neefektivitāti, dažreiz pieprasot miljoniem epizožu, lai apgūtu uzdevumus, ko cilvēks varētu apgūt dažu minūšu laikā. Tā saskaras arī ar izpētes un izmantošanas dilemmu, kur aģentam ir jālīdzsvaro jaunu darbību izmēģināšana ar zināmu labu darbību ievērošanu. Tikmēr uzraudzīto mācīšanos ierobežo tās apmācības etiķešu kvalitāte un daudzveidība. Modeļi var mantot cilvēku aizspriedumus, neizdoties ar ārpus izplatīšanas esošiem ievades datiem un stagnēt, kad beidzas marķētie dati. Abām pieejām ir kopīgas problēmas ar interpretējamību un drošību, lai gan tās izpaužas atšķirīgi.
Robeža starp šīm paradigmām pēdējos gados ir ievērojami izplūdusi. Tādas metodes kā RLHF (pastiprināšanas mācīšanās no cilvēka atgriezeniskās saites) apvieno abas pasaules, izmantojot cilvēka preferences kā atlīdzības signālus, lai precizētu modeļus, kas sākotnēji apmācīti ar marķētiem datiem. Pašuzraudzīta mācīšanās ir parādījusies arī kā vidusceļš, kur modeļi izveido savas etiķetes no nemarķētiem datiem, pirms precizēšanas mazākos atlasītos kopumos. Šīs hibrīdmetodes bieži vien pārspēj tīras pieejas, kas liecina, ka mākslīgā intelekta apmācības nākotne slēpjas abu stratēģiju stipro pušu apvienošanā.
Pastiprināšanas mācībām vienmēr ir nepieciešams fizisks robots.
Lielākā daļa mūsdienu reālās dzīves pētījumu notiek pilnībā programmatūras simulatoros. Vides ir dažādas, sākot no videospēlēm un fizikas dzinējiem līdz pielāgotām virtuālajām pasaulēm. Fiziskie roboti tiek izmantoti tikai tad, ja galīgais pielietojums prasa reālu ieviešanu, un pat tad apmācība parasti sākas simulācijā pirms pārsūtīšanas uz aparatūru.
Uzraudzīta mācīšanās var atrisināt jebkuru problēmu, ja vien tajā tiek izmantoti pietiekami daudz datu.
Vairāk datu palīdz tikai līdz noteiktam brīdim. Ja etiķetes ir trokšņainas, neobjektīvas vai neaptver svarīgus robežgadījumus, modelis apgūs šos trūkumus. Anotāciju kvalitātei un daudzveidībai ir tikpat liela nozīme kā kvantitātei, un dažas problēmas vienkārši nevar tikt veidotas kā uzraudzīti prognozēšanas uzdevumi.
Mācīšanās, izmantojot izmēģinājumu un kļūdu metodi, notiek pilnīgi bez uzraudzības.
Pastiprināšanas mācīšanās patiesībā ir sava atsevišķa kategorija, kas atšķiras gan no uzraudzītas, gan no nepārraudzītas mācīšanās. Lai gan tai nav nepieciešama marķēta ievade, tā balstās uz atlīdzības signāliem, kas jāizstrādā cilvēkiem. Labas atlīdzības funkcijas izveide pati par sevi ir sarežģīta inženiertehniska problēma.
Marķētu datu kopu apguve ir novecojusi pašpārraudzītu metožu dēļ.
Uzraudzīta mācīšanās joprojām ir ražošanas mākslīgā intelekta sistēmu galvenais darba zirgs. Pašuzraudzīta iepriekšēja apmācība bieži vien samazina nepieciešamo marķēto datu apjomu, taču lielākajai daļai izvietoto lietojumprogrammu joprojām ir svarīgi precizēt marķētos piemērus. Abas pieejas viena otru papildina, nevis aizstāj.
Pastiprināšanas mācīšanās aģenti vienmēr atrod optimālo risinājumu, ja tiek dots pietiekami daudz laika.
RL aģenti var iestrēgt neoptimālās politikās, īpaši, ja atlīdzības signāli ir reti vai slikti izstrādāti. Izpēte ir principiāli sarežģīta, un aģenti var nekad neatklāt labākas stratēģijas, ja atlīdzības ir maldinošas vai ja stāvokļu telpa ir pārāk plaša, lai veiktu rūpīgu meklēšanu.
Izvēlieties izmēģinājumu un kļūdu apguvi, ja jūsu problēma ir saistīta ar secīgiem lēmumiem, dinamisku vidi vai situācijām, kurās ir grūti iepriekš definēt pareizu uzvedību, piemēram, robotikas vadībā vai stratēģiskās spēlēs. Izvēlieties marķētu datu kopu apguvi, ja jums ir piekļuve kvalitatīviem anotētiem datiem un ir nepieciešamas uzticamas prognozes par precīzi definētiem uzdevumiem, piemēram, klasifikāciju, regresiju vai modeļu atpazīšanu. Daudzas reālās pasaules sistēmas gūst labumu no abu pieeju apvienošanas, nevis tikai vienas izvēles.
A/B testēšana modeļu apkalpošanā novirza trafiku starp konkurējošām modeļu versijām, lai novērtētu reālo veiktspēju, savukārt viena modeļa ieviešana visiem lietotājiem nosūta vienu modeli. Komandas izvēlas starp tiem, pamatojoties uz riska toleranci, trafika apjomu un statistiskās validācijas nepieciešamību pirms pilnīgas ieviešanas.
A/B testēšana satura izlaidumos ietver variāciju ieviešanu dažādiem auditorijas segmentiem un veiktspējas mērīšanu, savukārt vienreizēji satura izlaidumi vienlaikus nodrošina vienu versiju visiem lietotājiem. Katra pieeja atbilst dažādiem mērķiem, A/B testēšanai dodot priekšroku uz datiem balstītai optimizācijai, bet vienreizējiem izlaidumiem prioritāte ir ātrums un vienkāršība.
Adaptīvā izguve dinamiski pielāgo, kā un kādu informāciju sistēma izgūst, pamatojoties uz vaicājumu, savukārt statiskās izguves cauruļvadi ievēro fiksētus noteikumus neatkarīgi no konteksta. Abas nodrošina modernas mākslīgā intelekta lietojumprogrammas, taču tās ievērojami atšķiras pēc elastības, izmaksām un precizitātes. Izvēle starp tām ir atkarīga no darba slodzes sarežģītības un budžeta.
Šajā detalizētajā salīdzinājumā tiek pētītas adaptīvo intelekta dzinēju arhitektūras atšķirības, darbības ierobežojumi un reālā veiktspēja salīdzinājumā ar fiksētas uzvedības automatizācijas sistēmām. Mēs aplūkojam, kā sistēmas, kas nepārtraukti mācās no jauniem vides datiem, atbilst stingrām, paredzamām, uz noteikumiem balstītām sistēmām.
Aģentu apmācība vidēs ietver mācīšanos, izmantojot reāllaika mijiedarbību ar simulētu vai fizisku vidi, savukārt bezsaistes datu kopu apmācība balstās uz iepriekš apkopotiem datiem bez papildu piekļuves videi. Abas pieejas apmāca mašīnmācīšanās modeļus, taču būtiski atšķiras tas, kā aģenti apkopo pieredzi un uzlabo veiktspēju.
