Metody založené na politikách a metody založené na hodnotách představují dva základní přístupy v posilovacím učení. Metody založené na politikách se přímo učí strategii výběru akcí, zatímco metody založené na hodnotách odhadují, jak dobrá je každá akce, a z těchto odhadů odvozují chování. Každá z nich má odlišné silné stránky vhodné pro různé typy problémů.
Přístupy k posilovacímu učení, které přímo optimalizují politiku výběru akcí agenta bez nutnosti hodnotové funkce.
Přístupy učení s posilováním, které se učí, jak dobré jsou stavy nebo páry stav-akce, a poté z těchto odhadů hodnot odvozují politiku.
| Funkce | Metody založené na zásadách | Metody založené na hodnotách |
|---|---|---|
| Základní přístup | Přímo optimalizuje zásady | Naučí se hodnotovou funkci a poté na ni reaguje |
| Akční prostor | Funguje dobře s kontinuálními a vícerozměrnými akcemi | Nejvhodnější pro diskrétní, nízkodimenzionální akce |
| Účinnost vzorku | Obecně méně efektivní z hlediska vzorkování, často vyžaduje více dat | Obvykle efektivnější z hlediska vzorkování, zejména s vyrovnávacími pamětí pro přehrávání |
| Stabilita | Stabilní aktualizace, ale mohou konvergovat k lokálním optimům | Může být nestabilní s aproximací funkcí, vyžaduje triky |
| Průzkum | Stochastické politiky umožňují přirozený průzkum | Spoléhá na heuristiky, jako je epsilon-greedy nebo noise injection. |
| Rozptyl gradientu | Vysoké gradienty rozptylu, vyžaduje snížení rozptylu | Žádný politický gradient, takže žádný problém s odchylkami ve stejném smyslu |
| Pozoruhodné algoritmy | VÝZTUŽ, PPO, TRPO, A2C | Q-učení, DQN, dvojité DQN, soubojové DQN |
| Konvergenční záruka | Konverguje k lokálnímu optimu za standardních podmínek | Konverguje k optimální politice v tabulkovém nastavení |
Metody založené na politikách se ubírají přímější cestou: parametrizují samotnou politiku, často jako neuronovou síť, která generuje pravděpodobnosti akcí, a upravují tyto parametry tak, aby upřednostňovaly akce, které vedou k vyšším odměnám. Metody založené na hodnotě se ubírají scénickou cestou tím, že nejprve odhadují, jak hodnotná je každá akce v každém stavu, a poté jednoduše vybírají nejlépe vypadající možnost. Tento zásadní rozdíl formuje vše ostatní, co se týká chování obou skupin v praxi.
Pokud je prostor akcí spojitý, jako je ovládání robotického ramene nebo řízení auta, vynikají metody založené na pravidlech, protože dokáží vytvořit rozdělení pravděpodobnosti v spojitém rozsahu. Metody založené na hodnotách zde mají potíže, protože neexistuje způsob, jak vyjmenovat všechny možné akce, aby se našlo maximum. Pro problémy s malou sadou diskrétních akcí, jako je hraní Atari nebo rozhodování ano/ne, jsou metody založené na hodnotách často jednodušší a efektivnější.
Metody založené na hodnotách, jako je DQN, bývají efektivnější z hlediska vzorků, protože znovu využívají minulé zkušenosti uložené v bufferech pro přehrávání a z každého přechodu se učí několikrát. V kombinaci s hlubokými neuronovými sítěmi však mohou být nestabilní, a proto byly zavedeny techniky, jako jsou cílové sítě. Metody založené na politikách se aktualizují plynuleji, ale obvykle potřebují k konvergenci více vzorků a jejich odhady gradientů mohou být zašumené.
Příjemnou vlastností metod založených na pravidlech je, že samotná pravidla mohou být stochastická, což znamená, že agent přirozeně prozkoumává data vzorkováním ze svého rozdělení akcí. Metody založené na hodnotě vyžadují explicitní strategie prozkoumávání, přičemž klasickou volbou je epsilon-greedy, ačkoli existují i sofistikovanější přístupy, jako jsou šumové sítě nebo horní hranice spolehlivosti. Díky tomu jsou metody založené na pravidlech obzvláště atraktivní v prostředích, kde je prozkoumávání obtížné.
Hranice mezi těmito dvěma rodinami metod není vždy ostrá. Metody typu actor-critic, včetně PPO a A2C, kombinují obě myšlenky pomocí hodnotové funkce (kritika) k vedení aktualizací politiky (aktéra). Tento hybridní přístup často získává to nejlepší z obou světů: nižší rozptyl než u čistých gradientů politiky a lepší zpracování spojitých akcí než u čistě hodnotových metod. Moderní nejmodernější algoritmy v mnoha oblastech jsou variantami metody actor-critic.
Metody založené na politikách vždy překonávají metody založené na hodnotách v oblasti hlubokého posilovacího učení.
Ani jedna z těchto rodin není univerzálně lepší. Metody založené na hodnotách, jako je DQN, dosáhly průlomových výsledků na Atari, zatímco metody založené na politikách vynikají v kontinuální kontrole. Nejlepší volba závisí na prostoru pro akci, dynamice prostředí a množství dostupných dat.
Metody založené na hodnotách nemohou fungovat s prostory spojitých akcí.
Zatímco standardní Q-learning se potýká s kontinuálními akcemi, varianty jako Deep Deterministic Policy Gradient (DDPG) a Twin Delayed DDPG (TD3) rozšiřují myšlenky založené na hodnotách na kontinuální domény pomocí architektur typu actor-critic. Striktní oddělení těchto dvou rodin je spíše zjednodušením výuky než pevným pravidlem.
Gradienty politiky vždy konvergují k optimální politice.
Metody gradientu politiky zaručeně konvergují k lokálně optimální politice za standardních předpokladů hladkosti, nikoli k globálně optimální politice. Optimalizační krajina může mít mnoho vrcholů a algoritmus se ustálí na tom, ke kterému vede jeho výchozí bod.
Metody založené na hodnotách nepotřebují žádnou reprezentaci politikou.
Dokonce i metody založené na hodnotě implicitně definují politiku prostřednictvím svého pravidla pro výběr akce, jako je například greedy nebo epsilon-greedy. Rozdíl spočívá v tom, že politika není přímo parametrizována a učena; je odvozena z odhadů hodnot.
Více vzorků vždy řeší problém nestability v metodách založených na hlubokých hodnotách.
Nestabilita v hlubokém Q-učení pramení z problému pohyblivého cíle, kde hodnotová funkce sleduje své vlastní aktualizace. Pouhé přidání dalších dat to nevyřeší; ke stabilizaci trénování jsou zapotřebí techniky jako cílové sítě, dvojité Q-učení a prioritní přehrávání.
Metody založené na politikách zvolte, pokud váš problém zahrnuje kontinuální akce, vyžaduje přirozené stochastické zkoumání nebo pokud chcete plynulé a stabilní aktualizace politik. Pro problémy s diskrétními akcemi, kde je důležitá efektivita vzorkování a můžete využít zpětné přehrávání zkušeností, zvolte metody založené na hodnotách. Pro mnoho reálných úkolů nabízejí hybridní metody typu aktér-kritik praktickou střední cestu, která kombinuje silné stránky obou.
A/B testování u vydání obsahu zahrnuje zavádění variant pro různé segmenty publika a měření výkonu, zatímco jednorázová vydání obsahu nabídnou jednu verzi všem najednou. Každý přístup vyhovuje jiným cílům, přičemž A/B testování upřednostňuje optimalizaci na základě dat a jednorázová vydání upřednostňují rychlost a jednoduchost.
A/B testování v modelovém servisu směruje provoz mezi konkurenčními verzemi modelů za účelem měření reálného výkonu, zatímco nasazení jednoho modelu dodává jeden model všem uživatelům. Týmy si mezi nimi vybírají na základě tolerance rizika, objemu provozu a potřeby statistického ověření před plným nasazením.
Toto srovnání analyzuje strategické volby v oblasti strojového učení mezi adaptací domény, která přenáší znalosti z označeného zdrojového prostředí do jiného cílového prostředí, a školením v doméně, které vytváří modely výhradně na datech získaných z přesného cílového nastavení nasazení.
Toto podrobné srovnání zkoumá architektonické rozdíly, provozní limity a reálný výkon adaptivních inteligentních systémů v porovnání s automatizačními systémy s pevným chováním. Zaměřujeme se na to, jak se systémy, které se neustále učí z nových environmentálních dat, vyrovnávají s rigidními, předvídatelnými rámci založenými na pravidlech.
Adaptivní vyhledávání dynamicky upravuje, jak a jaké informace systém načítá, na základě dotazu, zatímco statické vyhledávání se řídí pevnými pravidly bez ohledu na kontext. Oba systémy pohánějí moderní aplikace umělé inteligence, ale výrazně se liší ve flexibilitě, nákladech a přesnosti. Výběr mezi nimi závisí na složitosti pracovní zátěže a rozpočtu.
