Průzkum a využití představují dvě soupeřící strategie v posilovacím učení, které určují, jak agent shromažďuje znalosti oproti tomu, jak využívá to, co již zná. Vyvažování těchto přístupů je jednou z ústředních výzev při trénování inteligentních systémů k optimálnímu rozhodování v průběhu času.
Strategie zkoušení nových akcí za účelem objevování neznámých odměn a shromažďování informací o prostředí.
Strategie výběru nejznámější akce na základě současných znalostí s cílem maximalizovat okamžitou odměnu.
| Funkce | Průzkum | Využití v posilovacím učení |
|---|---|---|
| Primární cíl | Objevte nové informace o životním prostředí | Maximalizujte okamžitou odměnu s využitím známých informací |
| Úroveň rizika | Vyšší krátkodobé riziko, větší dlouhodobé učení | Nižší krátkodobé riziko, potenciál dlouhodobé stagnace |
| Typické metody | Epsilonová chamtivost, UCB, Thompsonův vzorkovací model, odměny řízené zvědavostí | Chamtivá politika, Boltzmann s nízkou teplotou, výběr nejlepšího postupu |
| Požadované znalosti | Funguje nejlépe, když má agent málo předchozích dat. | Funguje nejlépe, když má agent spolehlivé odhady hodnoty |
| Chování odměny | Může obětovat současnou odměnu za budoucí zisky | Důsledně usiluje o nejvyšší známou odměnu |
| Režim selhání | Plýtvá časem neproduktivními činnostmi | Zasekne se v suboptimálních lokálních maximech |
| Síla případu použití | Řídké odměny, velké stavové prostory, včasný výcvik | Pozdní trénink, stabilní prostředí, doladění |
| Získané informace | Vysoká – odhaluje nové výsledky státních opatření | Nízká – potvrzuje stávající přesvědčení |
Exploration (zkoumání) a exploration (využití) slouží v rámci učební smyčky s posilováním zásadně odlišným účelům. Exploration (zkoumání) se záměrně odklání od akce, která je považována za nejlepší, aby zjistilo, zda existuje něco lepšího. Exploration se naopak plně zavazuje k aktuálnímu nejlepšímu odhadu agenta. Napětí mezi nimi je často chápáno jako kompromis mezi shromažďováním znalostí a jednáním na jejich základě.
Agent, který příliš mnoho zkoumá, se nikdy nemusí usadit na silné strategii, zatímco ten, který využívá potenciál příliš brzy, se může zaměřit na průměrnou strategii. Výzkum mnohorukých banditů ukázal, že optimální rovnováha se v průběhu času mění: na začátku se průzkum vyplácí, protože nejistota je vysoká, ale s rostoucí důvěrou se racionální volbou stává využívání. Algoritmy jako UCB1 a decaying epsilon-greedy tento posun matematicky formalizují.
Techniky průzkumu mají tendenci zavádět do výběru akcí náhodnost nebo bonusové signály, jako jsou například epsilon-greedyho náhodné výběry nebo moduly zvědavosti, které odměňují nové stavy. Využití se obvykle implementuje pouhým výběrem argmaxu hodnotové funkce nebo akce s nejvyšší pravděpodobností ze sítě politik. V hlubokém posilovacím učení metody jako šumové sítě a entropické bonusy stírají hranici tím, že průzkum vkládají přímo do parametrů sítě.
Relativní důležitost každé strategie silně závisí na prostředí. V prostředí s vysokou odměnou, kde je zpětná vazba častá, může dříve dominovat vykořisťování, protože se agent rychle učí. V prostředí s nízkou odměnou, jako je Montezumova pomsta nebo reálné robotické úkoly, se průzkum stává obtížnějším problémem a často vyžaduje sofistikovanou vnitřní motivaci k dosažení jakéhokoli pokroku.
Ani jedna ze strategií není sama o sobě lepší, a proto je obor vnímá jako spřažené dilema, nikoli jako konkurenční možnosti. Efektivní algoritmy plánují průzkum dynamicky a redukují ho s postupujícím tréninkem nebo s klesající nejistotou ohledně konkrétních akcí. Slavná věta o neobědech zdarma připomíná praktikům, že žádný jednotlivý plán průzkumu nefunguje nejlépe pro každý problém.
Průzkum a exploatace jsou dva samostatné algoritmy, mezi kterými si můžete vybrat.
Jsou to doplňkové strategie, které téměř každý algoritmus učení s posilováním kombinuje v určitém poměru. Dokonce i chamtivá politika implicitně zkoumá možnosti během raného trénování, kdy jsou její odhady hodnot stále nepřesné a efektivně náhodné.
Více průzkumu vždy vede k lepšímu konečnému výkonu.
Nadměrné zkoumání může agentovi zabránit v tom, aby se kdy zavázal k silné politice, zejména v prostředích, kde jsou dobré činy vzácné. Umění spočívá v plánování zkoumání tak, aby s rostoucími znalostmi sláblo.
Kompromis mezi průzkumem a využitím je důležitý pouze v případě učení s posilováním.
Stejné dilema se objevuje u mnohorukých banditů, Bayesovské optimalizace, evolučního vyhledávání a dokonce i u lidského rozhodování. Učení s posilováním je jen jedním z nejvíce studovaných prostředí pro něj.
Jakmile agent dostatečně prozkoumá danou oblast, je exploatace vždy správnou volbou.
nestacionárních prostředích, kde se funkce odměny v čase mění, zůstává pokračující zkoumání cenné navždy. Agent musí neustále ověřovat, zda jeho staré předpoklady stále platí.
Náhodné akce jsou jediný způsob, jak prozkoumávat.
Moderní strategie průzkumu jsou mnohem sofistikovanější než čistá náhodnost. Horní hranice spolehlivosti, Thompsonův vzorkování a moduly vnitřní zvědavosti zkoumají strukturovanými a informovanými způsoby, které jsou mnohem efektivnější z hlediska vzorkování.
Volte strategie zaměřené na průzkum, pokud je prostředí neznámé, odměny jsou řídké nebo je stavový prostor dostatečně velký, aby pravděpodobně existovaly neobjevené oblasti s vysokou hodnotou. K exploataci přejděte, jakmile si agent vybuduje spolehlivé odhady hodnoty a náklady na vyzkoušení neznámých akcí převáží potenciální nárůst. Nejlepší systémy učení s posilováním zacházejí s oběma agenty spíše jako s partnery než jako s rivaly a pečlivě je plánují v celém trénovacím procesu.
A/B testování u vydání obsahu zahrnuje zavádění variant pro různé segmenty publika a měření výkonu, zatímco jednorázová vydání obsahu nabídnou jednu verzi všem najednou. Každý přístup vyhovuje jiným cílům, přičemž A/B testování upřednostňuje optimalizaci na základě dat a jednorázová vydání upřednostňují rychlost a jednoduchost.
A/B testování v modelovém servisu směruje provoz mezi konkurenčními verzemi modelů za účelem měření reálného výkonu, zatímco nasazení jednoho modelu dodává jeden model všem uživatelům. Týmy si mezi nimi vybírají na základě tolerance rizika, objemu provozu a potřeby statistického ověření před plným nasazením.
Toto srovnání analyzuje strategické volby v oblasti strojového učení mezi adaptací domény, která přenáší znalosti z označeného zdrojového prostředí do jiného cílového prostředí, a školením v doméně, které vytváří modely výhradně na datech získaných z přesného cílového nastavení nasazení.
Toto podrobné srovnání zkoumá architektonické rozdíly, provozní limity a reálný výkon adaptivních inteligentních systémů v porovnání s automatizačními systémy s pevným chováním. Zaměřujeme se na to, jak se systémy, které se neustále učí z nových environmentálních dat, vyrovnávají s rigidními, předvídatelnými rámci založenými na pravidlech.
Adaptivní vyhledávání dynamicky upravuje, jak a jaké informace systém načítá, na základě dotazu, zatímco statické vyhledávání se řídí pevnými pravidly bez ohledu na kontext. Oba systémy pohánějí moderní aplikace umělé inteligence, ale výrazně se liší ve flexibilitě, nákladech a přesnosti. Výběr mezi nimi závisí na složitosti pracovní zátěže a rozpočtu.
