Raziskovanje in izkoriščanje predstavljata dve konkurenčni strategiji pri učenju z okrepitvijo, ki določata, kako agent zbira znanje v primerjavi s tem, kako uporablja tisto, kar že ve. Uravnoteženje teh pristopov je eden osrednjih izzivov pri učenju inteligentnih sistemov za sprejemanje optimalnih odločitev skozi čas.
Strategija preizkušanja novih dejanj za odkrivanje neznanih nagrad in zbiranje informacij o okolju.
Strategija izbire najbolj znanega dejanja na podlagi trenutnega znanja za maksimiranje takojšnje nagrade.
| Funkcija | Raziskovanje | Izkoriščanje pri učenju z okrepitvijo |
|---|---|---|
| Primarni cilj | Odkrijte nove informacije o okolju | Maksimizirajte takojšnjo nagrado z uporabo znanih informacij |
| Raven tveganja | Večje kratkoročno tveganje, več dolgoročnega učenja | Nižje kratkoročno tveganje, morebitna dolgoročna stagnacija |
| Tipične metode | Epsilonsko požrešni, UCB, Thompson Sampling, nagrade, ki jih poganja radovednost | Pohlepna politika, Boltzmann z nizko temperaturo, izbira najboljšega ukrepa |
| Zahtevano znanje | Najbolje deluje, kadar ima agent malo predhodnih podatkov. | Najbolje deluje, če ima agent zanesljive ocene vrednosti |
| Nagrajevanje vedenja | Lahko žrtvuje trenutno nagrado za prihodnje dobičke | Dosledno si prizadeva za najvišjo znano nagrado |
| Način napake | Izgublja čas z neproduktivnimi dejanji | Zatakne se v neoptimalnih lokalnih maksimumih |
| Moč primera uporabe | Redke nagrade, veliki državni prostori, zgodnje usposabljanje | Pozno usposabljanje, stabilno okolje, fino uglaševanje |
| Pridobljene informacije | Visoka – razkriva nove rezultate državnih ukrepov | Nizka – potrjuje obstoječa prepričanja |
Raziskovanje in izkoriščanje služita v zanki učenja z okrepitvijo bistveno različnim namenom. Raziskovanje se namerno odmakne od dejanja, za katero velja, da je najboljše, da bi ugotovilo, ali obstaja nekaj boljšega. Izkoriščanje pa se v celoti zaveže trenutni najboljši oceni agenta. Napetost med njima je pogosto opredeljena kot kompromis med zbiranjem znanja in ukrepanjem na podlagi njega.
Agent, ki preveč raziskuje, se morda nikoli ne bo odločil za močno politiko, medtem ko se lahko tisti, ki prezgodaj izkorišča, zaveže k povprečni strategiji. Raziskave o večročnih banditih so pokazale, da se optimalno ravnovesje sčasoma spreminja: na začetku se raziskovanje splača, ker je negotovost visoka, ko pa zaupanje narašča, izkoriščanje postane racionalna izbira. Algoritmi, kot sta UCB1 in razpadajoči epsilon-pohlepni algoritmi, ta premik matematično formalizirajo.
Tehnike raziskovanja ponavadi v izbiro dejanj vnašajo naključnost ali bonusne signale, kot so na primer epsilon-pohlepne naključne izbire ali moduli radovednosti, ki nagrajujejo nova stanja. Izkoriščanje se običajno izvaja s preprosto izbiro argmax funkcije vrednosti ali dejanja z največjo verjetnostjo iz mreže politik. Pri globokem učenju z okrepitvijo metode, kot so mreže s hrupom in entropijski bonusi, zamegljujejo mejo z vgradnjo raziskovanja neposredno v parametre omrežja.
Relativni pomen posamezne strategije je močno odvisen od okolja. V okoljih z gostoto nagrajevanja, kjer so povratne informacije pogoste, lahko izkoriščanje prevlada prej, ker se agent hitro uči. V okoljih z redko nagrado, kot je Montezuma's Revenge ali resnične robotske naloge, postane raziskovanje težji problem, ki pogosto zahteva prefinjeno notranjo motivacijo, da sploh doseže napredek.
Nobena od strategij ni boljša sama po sebi, zato ju področje obravnava kot povezano dilemo in ne kot konkurenčni možnosti. Učinkoviti algoritmi dinamično načrtujejo raziskovanje in ga zmanjšujejo z napredovanjem učenja ali z zmanjševanjem negotovosti glede določenih dejanj. Znani izrek o brezplačnem kosilu strokovnjake opominja, da noben posamezen načrt raziskovanja ne deluje najbolje za vsak problem.
Raziskovanje in izkoriščanje sta dva ločena algoritma, med katerima lahko izbirate.
Gre za komplementarne strategije, ki jih skoraj vsak algoritem učenja z okrepitvijo združuje v nekem razmerju. Tudi pohlepna politika implicitno raziskuje med zgodnjim učenjem, ko so njene ocene vrednosti še vedno netočne in dejansko naključne.
Več raziskovanja vedno vodi do boljše končne uspešnosti.
Prekomerno raziskovanje lahko prepreči agentu, da bi se kdaj zavezal k močni politiki, zlasti v okoljih, kjer so dobra dejanja redka. Umetnost je v načrtovanju raziskovanja, tako da z izboljševanjem znanja izgine.
Kompromis med raziskovanjem in izkoriščanjem je pomemben le pri učenju z okrepitvijo.
Ista dilema se pojavlja pri večrokih banditih, Bayesovi optimizaciji, evolucijskem iskanju in celo pri človeškem odločanju. Učenje z okrepitvijo je le eno najbolj preučevanih področij za to.
Ko agent razišče dovolj, je izkoriščanje vedno prava izbira.
nestacionarnih okoljih, kjer se funkcija nagrajevanja sčasoma spreminja, je nadaljnje raziskovanje dragoceno za vedno. Agent mora nenehno preverjati, ali njegove stare predpostavke še vedno veljajo.
Naključna dejanja so edini način za raziskovanje.
Sodobne strategije raziskovanja so veliko bolj sofisticirane kot čista naključnost. Zgornje meje zaupanja, Thompsonovo vzorčenje in moduli intrinzične radovednosti raziskujejo na strukturirane, informirane načine, ki so veliko bolj učinkoviti pri vzorčenju.
Strategije, ki temeljijo na raziskovanju, izberite, kadar je okolje neznano, so nagrade redke ali kadar je prostor stanj dovolj velik, da verjetno obstajajo neodkrita območja z visoko vrednostjo. K izkoriščanju se preusmerite, ko agent zgradi zanesljive ocene vrednosti in ko stroški preizkušanja neznanih dejanj odtehtajo potencialno rast. Najboljši sistemi učenja z okrepitvijo obravnavajo oba kot partnerja in ne kot tekmeca ter ju skrbno razporejajo v procesu učenja.
A/B testiranje pri izdajah vsebin vključuje uvajanje različic za različne segmente občinstva in merjenje uspešnosti, medtem ko enkratne izdaje vsebin hkrati vsem ponudijo eno različico. Vsak pristop ustreza različnim ciljem, pri čemer A/B testiranje daje prednost optimizaciji, ki temelji na podatkih, enkratne izdaje pa dajejo prednost hitrosti in preprostosti.
A/B testiranje pri streženju modelov usmerja promet med konkurenčnimi različicami modelov za merjenje učinkovitosti v resničnem svetu, medtem ko uvedba enega modela vsem uporabnikom dostavi en model. Ekipe izbirajo med njimi glede na toleranco tveganja, količino prometa in potrebo po statistični potrditvi pred popolno uvedbo.
Agenti umetne inteligence so avtonomni, ciljno usmerjeni sistemi, ki lahko načrtujejo, sklepajo in izvajajo naloge v različnih orodjih, medtem ko tradicionalne spletne aplikacije sledijo fiksnim delovnim procesom, ki jih vodijo uporabniki. Primerjava poudarja premik od statičnih vmesnikov k prilagodljivim, kontekstualno ozaveščenim sistemom, ki lahko proaktivno pomagajo uporabnikom, avtomatizirajo odločitve in dinamično komunicirajo med več storitvami.
Ta arhitekturna primerjava primerja deterministično inženirstvo agentov, ki temeljijo na pravilih, s prilagodljivo naravo učnih agentov, ki temeljijo na podatkih, ter ocenjuje njihovo uporabnost v resničnem svetu, omejitve skaliranja in delovanje v negotovosti.
Agentni sistemi umetne inteligence lahko načrtujejo, izvajajo večstopenjske naloge in avtonomno komunicirajo z zunanjimi orodji, medtem ko tradicionalni klepetalni roboti LLM primarno ustvarjajo besedilne odgovore v enem samem pogovornem koraku. Ključna razlika je v agenciji: agentni sistemi delujejo na podlagi ciljev, medtem ko klepetalni roboti reagirajo na pozive.
