Metódy založené na politikách a metódy založené na hodnotách predstavujú dva základné prístupy v posilňovacom učení. Metódy založené na politikách sa priamo učia stratégiu výberu akcií, zatiaľ čo metódy založené na hodnotách odhadujú, aká dobrá je každá akcia, a z týchto odhadov odvodzujú správanie. Každá z nich má odlišné silné stránky vhodné pre rôzne typy problémov.
Prístupy posilňovacieho učenia, ktoré priamo optimalizujú politiku výberu akcií agenta bez potreby hodnotovej funkcie.
Prístupy posilňovacieho učenia, ktoré sa učia, aké dobré sú stavy alebo páry stav-činnosť, a potom z týchto odhadov hodnôt odvodzujú politiku.
| Funkcia | Metódy založené na politikách | Metódy založené na hodnote |
|---|---|---|
| Základný prístup | Priamo optimalizuje politiku | Naučí sa hodnotovú funkciu a potom na ňu reaguje |
| Akčný priestor | Funguje dobre s kontinuálnymi a viacrozmernými akciami | Najvhodnejšie pre diskrétne, nízkorozmerné akcie |
| Účinnosť vzorky | Vo všeobecnosti menej efektívne z hľadiska vzoriek, často vyžaduje viac údajov | Zvyčajne efektívnejšie z hľadiska vzoriek, najmä s vyrovnávacími pamäťami prehrávania |
| Stabilita | Stabilné aktualizácie, ale môžu konvergovať k lokálnym optimám | Môže byť nestabilný pri aproximácii funkcií, vyžaduje si triky |
| Prieskum | Stochastické politiky umožňujú prirodzený prieskum | Spolieha sa na heuristiky ako epsilon-greedy alebo noise injection |
| Rozptyl gradientu | Vysoké gradienty rozptylu, vyžaduje redukciu rozptylu | Žiadny politický gradient, takže žiadny problém s odchýlkou v rovnakom zmysle |
| Pozoruhodné algoritmy | POSILŇOVANIE, PPO, TRPO, A2C | Q-učenie, DQN, dvojité DQN, súbojové DQN |
| Záruka konvergencie | Konverguje k lokálnemu optimu za štandardných podmienok | Konverguje k optimálnej politike v tabuľkových nastaveniach |
Metódy založené na politikách sa uberajú priamejšou cestou: parametrizujú samotnú politiku, často ako neurónovú sieť, ktorá generuje pravdepodobnosti akcií, a upravujú tieto parametre tak, aby uprednostňovali akcie vedúce k vyšším odmenám. Metódy založené na hodnote sa uberajú scénickou cestou tak, že najprv odhadnú, aká je hodnota každej akcie v každom stave, a potom jednoducho vyberú najvhodnejšiu možnosť. Tento zásadný rozdiel formuje všetko ostatné, čo sa týka správania týchto dvoch skupín v praxi.
Keď je priestor akcií spojitý, ako napríklad ovládanie robotického ramena alebo riadenie auta, metódy založené na politikách vynikajú, pretože dokážu poskytnúť rozdelenie pravdepodobnosti v spojitom rozsahu. Metódy založené na hodnotách tu majú problém, pretože neexistuje spôsob, ako vymenovať všetky možné akcie, aby sa našlo maximum. Pre problémy s malou množinou diskrétnych akcií, ako je hranie Atari alebo rozhodovanie áno/nie, sú metódy založené na hodnotách často jednoduchšie a efektívnejšie.
Metódy založené na hodnotách, ako je DQN, bývajú efektívnejšie z hľadiska vzoriek, pretože opätovne využívajú minulé skúsenosti uložené v bufferoch prehrávania a z každého prechodu sa učia viackrát. V kombinácii s hlbokými neurónovými sieťami však môžu byť nestabilné, a preto boli zavedené techniky, ako sú cieľové siete. Metódy založené na politikách sa aktualizujú plynulejšie, ale na konvergenciu zvyčajne potrebujú viac vzoriek a ich odhady gradientov môžu byť zašumené.
Výhodou metód založených na politikách je, že samotná politika môže byť stochastická, čo znamená, že agent prirodzene skúma vzorkovaním zo svojho rozdelenia akcií. Metódy založené na hodnotách vyžadujú explicitné stratégie prieskumu, pričom klasickou voľbou je epsilon-greedy, hoci existujú aj sofistikovanejšie prístupy, ako sú zašumené siete alebo horné hranice spoľahlivosti. Vďaka tomu sú metódy založené na politikách obzvlášť atraktívne v prostrediach, kde je prieskum zložitý.
Hranica medzi týmito dvoma rodinami metód nie je vždy ostrá. Metódy typu actor-critic, vrátane PPO a A2C, spájajú obe myšlienky pomocou hodnotovej funkcie (kritik) na usmerňovanie aktualizácií politiky (aktor). Tento hybridný prístup často získava to najlepšie z oboch svetov: nižšiu varianciu ako pri čistých gradientoch politiky a lepšie spracovanie spojitých akcií ako pri čistých metódach založených na hodnote. Moderné najmodernejšie algoritmy v mnohých oblastiach sú variantmi metódy actor-critic.
Metódy založené na politikách vždy prekonávajú metódy založené na hodnotách v hlbokom posilňovacom učení.
Ani jedna z týchto skupín nie je univerzálne lepšia. Metódy založené na hodnotách, ako napríklad DQN, dosiahli na Atari prelomové výsledky, zatiaľ čo metódy založené na politikách vynikajú v nepretržitej kontrole. Najlepšia voľba závisí od priestoru pre akciu, dynamiky prostredia a množstva dostupných údajov.
Metódy založené na hodnotách nemôžu fungovať s priestormi spojitých akcií.
Zatiaľ čo štandardné Q-učenie zápasí s kontinuálnymi akciami, varianty ako Deep Deterministic Policy Gradient (DDPG) a Twin Delayed DDPG (TD3) rozširujú myšlienky založené na hodnotách na kontinuálne domény pomocou architektúr typu actor-critic. Prísne oddelenie medzi týmito dvoma rodinami je skôr zjednodušením výučby než prísnym pravidlom.
Politické gradienty vždy konvergujú k optimálnej politike.
Metódy gradientu politiky zaručene konvergujú k lokálne optimálnej politike za štandardných predpokladov hladkosti, nie k globálne optimálnej. Optimalizačné prostredie môže mať mnoho vrcholov a algoritmus sa ustáli na tom, ku ktorému vedie jeho východiskový bod.
Metódy založené na hodnote nepotrebujú žiadnu reprezentáciu politiky.
Dokonca aj metódy založené na hodnote implicitne definujú politiku prostredníctvom svojho pravidla výberu akcie, ako napríklad greedy alebo epsilon-greedy. Rozdiel je v tom, že politika nie je priamo parametrizovaná a naučená; je odvodená z odhadov hodnoty.
Viac vzoriek vždy rieši problém nestability v metódach založených na hlbokých hodnotách.
Nestabilita v hlbokom Q-učení pramení z problému pohyblivého cieľa, kde hodnotová funkcia sleduje svoje vlastné aktualizácie. Samotné pridanie ďalších údajov to nevyrieši; na stabilizáciu tréningu sú potrebné techniky ako cieľové siete, dvojité Q-učenie a prioritné opakovanie.
Metódy založené na politikách zvoľte vtedy, keď váš problém zahŕňa nepretržité akcie, vyžaduje si prirodzené stochastické skúmanie alebo keď chcete plynulé a stabilné aktualizácie politík. Pre problémy s diskrétnymi akciami, kde je dôležitá efektívnosť vzorky a môžete využiť opakovanie skúseností, zvoľte metódy založené na hodnotách. Pre mnohé úlohy z reálneho sveta ponúkajú hybridy aktér-kritik praktickú strednú cestu, ktorá kombinuje silné stránky oboch.
A/B testovanie v modelových službách smeruje prevádzku medzi konkurenčnými verziami modelov na meranie reálneho výkonu, zatiaľ čo nasadenie jedného modelu poskytuje jeden model všetkým používateľom. Tímy si medzi nimi vyberajú na základe tolerancie rizika, objemu prevádzky a potreby štatistického overenia pred úplným nasadením.
A/B testovanie pri vydávaní obsahu zahŕňa zavádzanie variácií pre rôzne segmenty publika a meranie výkonnosti, zatiaľ čo jednorazové vydania obsahu ponúkajú jednu verziu všetkým naraz. Každý prístup vyhovuje iným cieľom, pričom A/B testovanie uprednostňuje optimalizáciu na základe dát a jednorazové vydania uprednostňujú rýchlosť a jednoduchosť.
Toto porovnanie analyzuje strategické voľby v strojovom učení medzi adaptáciou domény, ktorá prenáša znalosti z označeného zdrojového prostredia do iného cieľového prostredia, a školením v rámci domény, ktoré vytvára modely výlučne na základe údajov získaných z presného cieľového nastavenia nasadenia.
Toto podrobné porovnanie skúma architektonické rozdiely, prevádzkové limity a reálny výkon adaptívnych inteligenčných systémov v porovnaní so systémami automatizácie s pevným správaním. Pozrieme sa na to, ako systémy, ktoré sa neustále učia z nových environmentálnych údajov, fungujú v porovnaní s rigidnými, predvídateľnými rámcami založenými na pravidlách.
Adaptívne vyhľadávanie dynamicky upravuje spôsob a aké informácie systém načítava na základe dotazu, zatiaľ čo statické vyhľadávacie kanály sa riadia pevnými pravidlami bez ohľadu na kontext. Obe poháňajú moderné aplikácie umelej inteligencie, ale výrazne sa líšia vo flexibilite, nákladoch a presnosti. Výber medzi nimi závisí od zložitosti pracovnej záťaže a rozpočtu.
