Uurimine ja ärakasutamine esindavad kahte konkureerivat strateegiat tugevdusõppes, mis määravad, kuidas agent teadmisi kogub võrreldes sellega, kuidas ta juba teadaolevat kasutab. Nende lähenemisviiside tasakaalustamine on üks keskseid väljakutseid intelligentsete süsteemide treenimisel aja jooksul optimaalsete otsuste langetamiseks.
Strateegia, mille käigus proovitakse uusi tegevusi tundmatute hüvede avastamiseks ja keskkonna kohta teabe kogumiseks.
Strateegia, mille kohaselt valitakse praeguste teadmiste põhjal tuntuim tegevus, et maksimeerida kohest tasu.
| Funktsioon | Uurimine | Ärakasutamine tugevdusõppes |
|---|---|---|
| Peamine eesmärk | Avastage uut teavet keskkonna kohta | Maksimeeri kohest tasu teadaoleva teabe abil |
| Riskitase | Suurem lühiajaline risk, suurem pikaajaline õppimine | Väiksem lühiajaline risk, võimalik pikaajaline stagnatsioon |
| Tüüpilised meetodid | Epsilon-ahne, UCB, Thompsoni proovivõtt, uudishimust lähtuvad hüved | Ahne poliitika, Boltzmann madala temperatuuriga, parima tegevuse valik |
| Teadmiste nõue | Toimib kõige paremini, kui agendil on vähe eelnevaid andmeid | Toimib kõige paremini, kui agendil on usaldusväärsed väärtuse hinnangud |
| Premeerimiskäitumine | Võib ohverdada praeguse tasu tulevase kasu nimel | Püüdleb järjepidevalt kõrgeima teadaoleva tasu poole |
| Rikke režiim | Raiskab aega ebaproduktiivsetele tegevustele | Jääb kinni suboptimaalsetesse lokaalsetesse maksimumidesse |
| Kasutusjuhtumi tugevus | Napid hüved, suured olekuruumid, varajane väljaõpe | Hiline treening, stabiilne keskkond, peenhäälestus |
| Saadud teave | Kõrge — näitab uusi riikliku tegevuse tulemusi | Madal — kinnitab olemasolevaid uskumusi |
Uurimine ja ärakasutamine täidavad tugevdusõppe tsüklis põhimõtteliselt erinevaid eesmärke. Uurimine astub teadlikult eemale parimaks peetavast tegevusest, et teada saada, kas midagi paremat on olemas. Ärakasutamine seevastu pühendub täielikult agendi praegusele parimale hinnangule. Nende vahelist pinget raamitakse sageli kompromissina teadmiste kogumise ja nende põhjal tegutsemise vahel.
Liiga palju uuriv agent ei pruugi kunagi tugevale poliitikale jõuda, samas kui liiga vara ärakasutav agent võib jääda keskpärase strateegia juurde. Mitmekäeliste bandiitide uuringud on näidanud, et optimaalne tasakaal nihkub aja jooksul: alguses tasub uurimine end ära, kuna ebakindlus on suur, kuid usalduse kasvades saab ärakasutamisest ratsionaalne valik. Algoritmid nagu UCB1 ja lagunev epsilon-ahne algoritm vormistavad selle nihke matemaatiliselt.
Uurimistehnikad kipuvad tegevuste valikusse sisse tooma juhuslikkust või boonussignaale, näiteks epsilon-greedy juhuslikud valikud või uudishimu moodulid, mis premeerivad uusi olekuid. Kasutamist rakendatakse tavaliselt lihtsalt väärtusfunktsiooni argmaxi või poliitikavõrgustikust kõrgeima tõenäosusega tegevuse valimisega. Sügavas tugevdusõppes hägustavad sellised meetodid nagu mürased võrgud ja entroopiaboonused piiri, manustades uurimise otse võrgu parameetritesse.
Iga strateegia suhteline tähtsus sõltub suuresti keskkonnast. Tiheda tasuga keskkondades, kus tagasiside on sagedane, võib ärakasutamine varem domineerima hakata, kuna agent õpib kiiresti. Vähese tasuga keskkondades, nagu Montezuma kättemaks või reaalse maailma robootikaülesanded, muutub uurimine keerulisemaks probleemiks, mis nõuab sageli keerukat sisemist motivatsiooni, et üldse edasi liikuda.
Kumbki strateegia pole eraldi võttes parem, mistõttu käsitleb valdkond neid pigem seotud dilemma kui konkureerivate valikutena. Tõhusad algoritmid ajastavad uurimist dünaamiliselt, vähendades seda treeningu edenedes või konkreetsete tegevuste ebakindluse vähenedes. Kuulus tasuta lõuna puudumise teoreem tuletab praktikutele meelde, et ükski uurimisgraafik ei toimi iga probleemi puhul kõige paremini.
Uurimine ja ärakasutamine on kaks eraldi algoritmi, mille vahel valida.
Need on üksteist täiendavad strateegiad, mida peaaegu iga tugevdusõppe algoritm mingil määral kombineerib. Isegi ahne poliitika uurib kaudselt varase treeningu ajal, kui selle väärtushinnangud on endiselt ebatäpsed ja sisuliselt juhuslikud.
Rohkem uurimistööd viib alati parema lõpptulemuseni.
Liigne uurimine võib takistada agendil kunagi tugevale poliitikale pühendumast, eriti keskkondades, kus head teod on haruldased. Kunst seisneb uurimise ajastamises nii, et see teadmiste paranedes hääbuks.
Uurimise ja ärakasutamise kompromiss on oluline ainult tugevdusõppe puhul.
Sama dilemma ilmneb mitmekäeliste bandiitide puhul, Bayesi optimeerimisel, evolutsioonilisel otsingul ja isegi inimeste otsustusprotsessides. Tugevdusõpe on vaid üks enim uuritud keskkondadest selle jaoks.
Kui agent on piisavalt uurinud, on ärakasutamine alati õige valik.
Mittestatsionaarsetes keskkondades, kus tasufunktsioon aja jooksul muutub, on jätkuv uurimine igavesti väärtuslik. Agent peab pidevalt kontrollima, kas tema vanad eeldused kehtivad endiselt.
Juhuslikud tegevused on ainus viis uurida.
Kaasaegsed uurimisstrateegiad on palju keerukamad kui puhas juhuslikkus. Ülemise usalduspiiri, Thompsoni valimi ja sisemise uudishimu moodulid uurivad kõik struktureeritud ja teadlikul viisil, mis on palju valimitõhususe seisukohast tõhusam.
Valige uurimispõhised strateegiad, kui keskkond on võõras, hüved on napid või olekuruum on piisavalt suur, et tõenäoliselt eksisteerivad avastamata kõrge väärtusega piirkonnad. Liiguge ärakasutamise poole, kui agent on loonud usaldusväärsed väärtushinnangud ja tundmatute tegevuste proovimise kulud kaaluvad üles potentsiaalse kasu. Parimad tugevdusõppe süsteemid käsitlevad neid kahte partneritena, mitte konkurentidena, planeerides neid hoolikalt kogu treeningprotsessi vältel.
Mudeliteenuse A/B-testimine suunab liiklust konkureerivate mudeliversioonide vahel, et mõõta reaalset toimivust, samas kui ühe mudeli juurutamine saadab kõigile kasutajatele ühe mudeli. Meeskonnad valivad nende vahel riskitaluvuse, liiklusmahu ja statistilise valideerimise vajaduse alusel enne täielikku juurutamist.
Sisuväljaannete A/B-testimine hõlmab variatsioonide levitamist erinevatele sihtrühmadele ja tulemuslikkuse mõõtmist, samas kui ühekordsed sisuväljaanded suunavad ühe versiooni korraga kõigile. Igal lähenemisviisil on erinevad eesmärgid, kusjuures A/B-testimine eelistab andmepõhist optimeerimist ja ühekordsed väljaanded seavad esikohale kiiruse ja lihtsuse.
See detailne võrdlus uurib adaptiivsete intelligentsete mootorite arhitektuurilisi erinevusi, operatsioonilisi piiranguid ja reaalset jõudlust võrreldes fikseeritud käitumisega automatiseerimissüsteemidega. Vaatleme, kuidas süsteemid, mis pidevalt õpivad uutest keskkonnaandmetest, sobivad kokku jäikade ja ennustatavate reeglipõhiste raamistikega.
Adaptiivne otsing kohandab dünaamiliselt, kuidas ja millist teavet süsteem päringu põhjal hangib, samas kui staatilised otsingukanalid järgivad fikseeritud reegleid olenemata kontekstist. Mõlemad toetavad tänapäevaseid tehisintellekti rakendusi, kuid erinevad oluliselt paindlikkuse, maksumuse ja täpsuse poolest. Nende vahel valimine sõltub töökoormuse keerukusest ja eelarvest.
Agentide koolitamine keskkondades hõlmab õppimist reaalajas simuleeritud või füüsilise keskkonnaga suhtlemise kaudu, samas kui võrguühenduseta andmestiku koolitamine tugineb eelnevalt kogutud andmetele ilma täiendava keskkonnale juurdepääsuta. Mõlemad lähenemisviisid treenivad masinõppe mudeleid, kuid erinevad põhimõtteliselt selle poolest, kuidas agendid kogemusi koguvad ja jõudlust parandavad.
