Strategije raziskovanja pri učenju z okrepitvijo pomagajo agentom odkriti nagrajujoča vedenja v neznanih okoljih, medtem ko dopolnjevanje podatkov pri nadzorovanem učenju širi učne nabore podatkov za izboljšanje posplošitve modela. Obe metodi se spopadata s pomanjkanjem podatkov, vendar delujeta v bistveno različnih učnih paradigmah.
Metode, ki pomagajo agentom za učenje z okrepitvijo odkriti nova stanja in dejanja za učenje optimalnih politik.
Tehnike, ki umetno širijo nabore podatkov za učenje z ustvarjanjem spremenjenih različic obstoječih vzorcev.
| Funkcija | Strategije raziskovanja v RL | Povečanje podatkov pri nadzorovanem učenju |
|---|---|---|
| Paradigma učenja | Učenje z okrepitvijo | Nadzorovano učenje |
| Primarni cilj | Odkrijte nagrajujoča stanja in dejanja | Povečajte raznolikost in velikost naborov podatkov |
| Obravnavan ključni izziv | Redke nagrade in neznana okolja | Omejeni podatki za usposabljanje in prekomerno prilagajanje |
| Ključne tehnike | Epsilon-požrešen, UCB, ICM, RND, Go-Explore | Vrtenje, mešanje, izrezovanje, samodejno povečanje, povratno prevajanje |
| Povratni signal | Nagradni signali iz okolja | Oznake temeljnih podatkov iz nabora podatkov |
| Računalniški stroški | Pogosto visoko zaradi interakcije z okoljem | Na splošno zmerno, opravljeno brez povezave |
| Vpliv učinkovitosti vzorca | Zmanjša potrebno interakcijo z okoljem | Zmanjšuje zahteve glede označenih podatkov |
| Skupne domene | Igranje iger, robotika, navigacija | Računalniški vid, NLP, prepoznavanje govora |
Strategije raziskovanja obstajajo za reševanje dileme raziskovanja in izkoriščanja pri učenju z okrepitvijo, kjer se mora agent odločiti med preizkušanjem novih dejanj za odkrivanje boljših nagrad in ohranjanjem znanih nagrajevalnih dejanj. Povečevanje podatkov služi drugačnemu, a povezanemu namenu: umetno širi efektivno velikost označenega nabora podatkov in pomaga nadzorovanim modelom, da se bolje posplošijo na nevidne primere. Obe tehniki si v končni fazi prizadevata za izboljšanje učinkovitosti učenja, vendar se v svojih učnih okvirih spopadata z bistveno različnima ozkima grlima.
Metode raziskovanja RL običajno spreminjajo agentovo politiko izbire dejanj ali dodajajo intrinzične nagrade, da bi spodbudile obiskovanje novih stanj. Tehnike, kot je učenje, ki ga vodi radovednost, nagrajujejo agenta za napake pri napovedovanju in ga potiskajo proti neznanemu ozemlju. Povečevanje podatkov deluje tako, da na obstoječe vzorce uporabi transformacije in ustvari nove učne primere, ki ohranjajo oznake, hkrati pa spreminjajo vhodne značilnosti. Na primer, zasukana slika mačke je še vedno označena kot mačka, vendar model vidi nekoliko drugačen vhodni vzorec.
Strategije raziskovanja so najbolj dragocene v okoljih z redkimi ali zakasnjenimi nagradami, kjer naključna dejanja verjetno ne bodo prinesla uspeha. Igre, kot je Montezuma's Revenge, znana po kaznovanju raziskovanja, so spodbudile velik del inovacij na tem področju. Povečanje števila podatkov se izkaže, ko so označeni podatki dragi ali omejeni, kar je pogosto pri medicinskem slikanju, satelitskih posnetkih in specializiranih nalogah NLP. Prav tako je ključnega pomena za gradnjo modelov, ki so odporni na resnične spremembe osvetlitve, orientacije ali hrupa.
Izvajanje strategij raziskovanja zahteva interaktivno okolje, kjer lahko agent izvaja dejanja in opazuje posledice, zaradi česar so računsko intenzivne in pogosto počasne za učenje. Povečanje podatkov se običajno uporablja kot korak predobdelave ali znotraj učnih zank, zaradi česar je relativno poceni in enostavno za integracijo v obstoječe cevovode. Izvajalec lahko doda povečave nadzorovanemu modelu v nekaj minutah, medtem ko lahko uglaševanje hiperparametrov raziskovanja za agenta RL traja več dni ali tednov.
Zanimivo je, da se ta dva pristopa v nekaterih sodobnih sistemih zbližujeta. Samonadzorovano učenje združuje elemente obeh, pri čemer uporablja tehnike, podobne obogatitvi, za ustvarjanje učnih signalov brez eksplicitnih oznak. Nekatere novejše metode RL uporabljajo tudi obogatitev podatkov, kot sta DrQ in RAD, ki uporabljata obogatitev slik za izboljšanje učinkovitosti vzorca pri učenju z vizualno okrepitvijo. To navzkrižno opraševanje kaže, da meje med paradigmami postajajo vse bolj tekoče.
Strategije raziskovanja vedno upočasnijo učenje RL, ker izgubljajo čas z naključnimi dejanji.
Medtem ko je naivno raziskovanje, kot so naključna dejanja, lahko neučinkovito, sofisticirane strategije, kot so metode, ki jih poganja radovednost, dejansko pospešijo učenje z usmerjanjem agentov v informativna stanja. Metode, kot sta RND in Go-Explore, so rešile igre, ki so prej veljale za neobvladljive za agente, ki temeljijo na radovednosti.
Pri obogatitvi podatkov gre zgolj za obračanje in vrtenje slik.
Sodobna augmentacija zajema naučene politike (AutoAugment), generativne pristope (sinteza na osnovi GAN) in sofisticirane tehnike mešanja (CutMix, Mixup). V NLP augmentacija vključuje povratno prevajanje, kontekstualno zamenjavo besed in celo uporabo velikih jezikovnih modelov za ustvarjanje parafraz.
Večja dopolnitev vedno vodi do boljše učinkovitosti modela.
Prekomerno ali neprimerno dopolnjevanje lahko dejansko škoduje učinkovitosti z uvajanjem nerealnih vzorcev ali uničevanjem značilnosti, pomembnih za oznake. Ključno je najti dopolnjevanja, ki ohranjajo semantično vsebino, hkrati pa spreminjajo površinske značilnosti, kar pogosto zahteva strokovno znanje o domeni ali naučene pravilnike.
Raziskovanje in izkoriščanje sta nasprotujoči si sili, ki ju je treba uravnotežiti.
Sodobne strategije raziskovanja ne ponujajo zgolj kompromisov med raziskovanjem in izkoriščanjem. Metode, kot sta distribucijsko učenje v živo (RL) in pristopi, ki jih poganja radovednost, združujejo oba cilja v enotnih okvirih, kjer raziskovanje naravno vodi k boljšemu izkoriščanju, ko agent spozna svoje okolje.
Povečanje podatkov je uporabno le za slikovne podatke.
Tehnike obogatitve so se izkazale za koristne v različnih modalitetah, vključno z zvokom (specAugment za govor), besedilom (povratno prevajanje, EDA), časovnimi vrstami (tresenje, skaliranje) in celo grafičnimi podatki (izpuščanje vozlišč, motnje robov). Načelo ustvarjanja smiselnih variacij se široko uporablja na vseh področjih strojnega učenja.
Izberite strategije raziskovanja v RL, ko gradite agente, ki se morajo učiti skozi interakcijo z okoljem, še posebej, ko so nagrade redke ali je prostor stanj obsežen. Za dopolnjevanje podatkov v nadzorovanem učenju se odločite, kadar imate fiksen nabor podatkov in želite povečati učinkovitost modela, ne da bi zbirali več označenih primerov. Številni sodobni sistemi umetne inteligence imajo koristi od kombiniranja obeh pristopov, zlasti na področjih, kot je robotika, kjer se vizualno zaznavanje sreča z zaporednim odločanjem.
A/B testiranje pri izdajah vsebin vključuje uvajanje različic za različne segmente občinstva in merjenje uspešnosti, medtem ko enkratne izdaje vsebin hkrati vsem ponudijo eno različico. Vsak pristop ustreza različnim ciljem, pri čemer A/B testiranje daje prednost optimizaciji, ki temelji na podatkih, enkratne izdaje pa dajejo prednost hitrosti in preprostosti.
A/B testiranje pri streženju modelov usmerja promet med konkurenčnimi različicami modelov za merjenje učinkovitosti v resničnem svetu, medtem ko uvedba enega modela vsem uporabnikom dostavi en model. Ekipe izbirajo med njimi glede na toleranco tveganja, količino prometa in potrebo po statistični potrditvi pred popolno uvedbo.
Agenti umetne inteligence so avtonomni, ciljno usmerjeni sistemi, ki lahko načrtujejo, sklepajo in izvajajo naloge v različnih orodjih, medtem ko tradicionalne spletne aplikacije sledijo fiksnim delovnim procesom, ki jih vodijo uporabniki. Primerjava poudarja premik od statičnih vmesnikov k prilagodljivim, kontekstualno ozaveščenim sistemom, ki lahko proaktivno pomagajo uporabnikom, avtomatizirajo odločitve in dinamično komunicirajo med več storitvami.
Ta arhitekturna primerjava primerja deterministično inženirstvo agentov, ki temeljijo na pravilih, s prilagodljivo naravo učnih agentov, ki temeljijo na podatkih, ter ocenjuje njihovo uporabnost v resničnem svetu, omejitve skaliranja in delovanje v negotovosti.
Agentni sistemi umetne inteligence lahko načrtujejo, izvajajo večstopenjske naloge in avtonomno komunicirajo z zunanjimi orodji, medtem ko tradicionalni klepetalni roboti LLM primarno ustvarjajo besedilne odgovore v enem samem pogovornem koraku. Ključna razlika je v agenciji: agentni sistemi delujejo na podlagi ciljev, medtem ko klepetalni roboti reagirajo na pozive.
