Prieskum a využívanie predstavujú dve konkurenčné stratégie v posilňovacom učení, ktoré určujú, ako agent zhromažďuje vedomosti oproti tomu, ako využíva to, čo už vie. Vyváženie týchto prístupov je jednou z ústredných výziev pri trénovaní inteligentných systémov, aby v priebehu času prijímali optimálne rozhodnutia.
Stratégia skúšania nových akcií s cieľom objaviť neznáme odmeny a zhromaždiť informácie o prostredí.
Stratégia výberu najznámejšej akcie na základe aktuálnych vedomostí s cieľom maximalizovať okamžitú odmenu.
| Funkcia | Prieskum | Využívanie v posilňovacom učení |
|---|---|---|
| Primárny cieľ | Objavte nové informácie o životnom prostredí | Maximalizujte okamžitú odmenu pomocou známych informácií |
| Úroveň rizika | Vyššie krátkodobé riziko, lepšie dlhodobé učenie | Nižšie krátkodobé riziko, potenciálna dlhodobá stagnácia |
| Typické metódy | Epsilonovo-chamtivý, UCB, Thompson Sampling, odmeny riadené zvedavosťou | Chamtivá politika, Boltzmann s nízkou teplotou, výber najlepších opatrení |
| Požiadavka na znalosti | Funguje najlepšie, keď má agent málo predchádzajúcich údajov | Funguje najlepšie, keď má agent spoľahlivé odhady hodnoty |
| Odmeňovacie správanie | Môže obetovať súčasnú odmenu za budúce zisky | Neustále sa usiluje o najvyššiu známu odmenu |
| Režim zlyhania | Stráca čas neproduktívnymi činnosťami | Zasekne sa v suboptimálnych lokálnych maximách |
| Sila prípadu použitia | Riedke odmeny, veľké priestory pre štáty, skorý tréning | Neskoré školenia, stabilné prostredie, dolaďovanie |
| Získané informácie | Vysoká – odhaľuje nové výsledky štátnych opatrení | Nízka – potvrdzuje existujúce presvedčenia |
Prieskum a exploatácia slúžia v cykle posilňovacieho učenia zásadne odlišným účelom. Prieskum zámerne odstupuje od akcie, ktorá sa považuje za najlepšiu, aby zistil, či existuje niečo lepšie. Exploatácia sa naopak plne zaväzuje k aktuálnemu najlepšiemu odhadu agenta. Napätie medzi nimi sa často chápe ako kompromis medzi zhromažďovaním vedomostí a konaním na ich základe.
Agent, ktorý skúma priveľa, sa nikdy nemusí uspokojiť so silnou stratégiou, zatiaľ čo ten, ktorý využíva potenciál príliš skoro, sa môže uchytiť v priemernej stratégii. Výskum mnohorukých banditov ukázal, že optimálna rovnováha sa v priebehu času mení: na začiatku sa prieskum vypláca, pretože neistota je vysoká, ale s rastúcou dôverou sa racionálnou voľbou stáva využívanie potenciálu. Algoritmy ako UCB1 a decaying epsilon-greedy formalizujú tento posun matematicky.
Techniky prieskumu majú tendenciu zavádzať náhodnosť alebo bonusové signály do výberu akcií, ako sú napríklad epsilon-greedyho náhodné výbery alebo moduly zvedavosti, ktoré odmeňujú nové stavy. Využívanie sa zvyčajne implementuje jednoduchým výberom argmaxu hodnotovej funkcie alebo akcie s najvyššou pravdepodobnosťou zo siete politík. V hlbokom posilňovacom učení metódy ako šumové siete a entropické bonusy stierajú hranicu tým, že prieskum vkladajú priamo do parametrov siete.
Relatívny význam každej stratégie silne závisí od prostredia. V prostrediach s vysokou mierou odmien, kde je spätná väzba častá, môže skôr dominovať vykorisťovanie, pretože agent sa učí rýchlo. V prostrediach s nízkou mierou odmien, ako je Montezumova pomsta alebo úlohy v reálnom svete robotiky, sa prieskum stáva ťažším problémom a často si vyžaduje sofistikovanú vnútornú motiváciu na dosiahnutie akéhokoľvek pokroku.
Ani jedna stratégia nie je sama o sebe lepšia, a preto ich táto oblasť vníma ako spriahnutú dilemu, a nie ako konkurenčné možnosti. Efektívne algoritmy plánujú prieskum dynamicky a znižujú ho s postupom tréningu alebo so znižujúcou sa neistotou týkajúcou sa konkrétnych akcií. Známa veta o neobedoch zadarmo pripomína praktikom, že žiadny jednotlivý plán prieskumu nefunguje najlepšie pre každý problém.
Prieskum a exploatácia sú dva samostatné algoritmy, medzi ktorými si môžete vybrať.
Sú to doplnkové stratégie, ktoré takmer každý algoritmus posilňovacieho učenia kombinuje v určitom pomere. Dokonca aj chamtivá politika implicitne skúma počas skorého trénovania, keď sú jej odhady hodnoty stále nepresné a v podstate náhodné.
Viac prieskumu vždy vedie k lepšiemu konečnému výkonu.
Nadmerné skúmanie môže agentovi zabrániť v tom, aby sa zaviazal k silnej politike, najmä v prostrediach, kde sú dobré činy zriedkavé. Umenie spočíva v plánovaní skúmania tak, aby sa s rastúcimi znalosťami strácalo.
Kompromis medzi prieskumom a využívaním je dôležitý iba pri posilňovacom učení.
Rovnaká dilema sa objavuje aj v prípade viacrukých banditov, Bayesovskej optimalizácie, evolučného vyhľadávania a dokonca aj ľudského rozhodovania. Posilňovacie učenie je len jedným z najviac študovaných prostredí.
Keď agent dostatočne preskúma možnosti, exploitácia je vždy tou správnou voľbou.
nestacionárnych prostrediach, kde sa funkcia odmeny v priebehu času mení, zostáva pokračujúce skúmanie cenné navždy. Agent musí neustále kontrolovať, či jeho staré predpoklady stále platia.
Náhodné akcie sú jediný spôsob, ako preskúmať.
Moderné stratégie prieskumu sú oveľa sofistikovanejšie ako čistá náhodnosť. Horné hranice spoľahlivosti, Thompsonov výber vzoriek a moduly vnútornej zvedavosti skúmajú štruktúrovanými a informovanými spôsobmi, ktoré sú oveľa efektívnejšie z hľadiska vzorkovania.
Stratégie zamerané na prieskum zvoľte, keď je prostredie neznáme, odmeny sú riedke alebo je stavový priestor dostatočne veľký na to, aby pravdepodobne existovali neobjavené oblasti s vysokou hodnotou. Smerom k exploatácii prejdite, keď si agent vybuduje spoľahlivé odhady hodnoty a náklady na vyskúšanie neznámych akcií prevážia potenciálny zisk. Najlepšie systémy posilňovacieho učenia považujú tieto dva faktory skôr za partnerov než za rivalov a starostlivo ich plánujú počas celého tréningového procesu.
A/B testovanie v modelových službách smeruje prevádzku medzi konkurenčnými verziami modelov na meranie reálneho výkonu, zatiaľ čo nasadenie jedného modelu poskytuje jeden model všetkým používateľom. Tímy si medzi nimi vyberajú na základe tolerancie rizika, objemu prevádzky a potreby štatistického overenia pred úplným nasadením.
A/B testovanie pri vydávaní obsahu zahŕňa zavádzanie variácií pre rôzne segmenty publika a meranie výkonnosti, zatiaľ čo jednorazové vydania obsahu ponúkajú jednu verziu všetkým naraz. Každý prístup vyhovuje iným cieľom, pričom A/B testovanie uprednostňuje optimalizáciu na základe dát a jednorazové vydania uprednostňujú rýchlosť a jednoduchosť.
Toto porovnanie analyzuje strategické voľby v strojovom učení medzi adaptáciou domény, ktorá prenáša znalosti z označeného zdrojového prostredia do iného cieľového prostredia, a školením v rámci domény, ktoré vytvára modely výlučne na základe údajov získaných z presného cieľového nastavenia nasadenia.
Toto podrobné porovnanie skúma architektonické rozdiely, prevádzkové limity a reálny výkon adaptívnych inteligenčných systémov v porovnaní so systémami automatizácie s pevným správaním. Pozrieme sa na to, ako systémy, ktoré sa neustále učia z nových environmentálnych údajov, fungujú v porovnaní s rigidnými, predvídateľnými rámcami založenými na pravidlách.
Adaptívne vyhľadávanie dynamicky upravuje spôsob a aké informácie systém načítava na základe dotazu, zatiaľ čo statické vyhľadávacie kanály sa riadia pevnými pravidlami bez ohľadu na kontext. Obe poháňajú moderné aplikácie umelej inteligencie, ale výrazne sa líšia vo flexibilite, nákladoch a presnosti. Výber medzi nimi závisí od zložitosti pracovnej záťaže a rozpočtu.
