Bezmodelové a s modelom založené posilňovacie učenie predstavujú dva zásadne odlišné prístupy k výučbe agentov umelej inteligencie prostredníctvom pokusov a omylov. Bezmodelové metódy sa učia priamo zo skúseností bez pochopenia svojho prostredia, zatiaľ čo metódy založené na modeloch budujú internú reprezentáciu fungovania sveta, aby mohli plánovať dopredu.
Prístup RL, kde sa agenti učia optimálne akcie priamo z interakcií s prostredím bez budovania interného modelu sveta.
Prístup RL, kde agenti vytvárajú interný model dynamiky svojho prostredia, aby simulovali výsledky a plánovali budúce akcie.
| Funkcia | Učenie s posilňovaním bez modelu | Posilňovacie učenie založené na modeli |
|---|---|---|
| Účinnosť vzorky | Nízka – vyžaduje milióny interakcií | Vysoká – učí sa z oveľa menšieho počtu interakcií |
| Výpočtové náklady | Nižšie počas školenia, žiadne plánovacie réžie | Vyššia kvôli krokom učenia modelu a plánovania |
| Požiadavky na pamäť | Uchováva iba politiku alebo funkciu hodnoty | Zásady obchodov a model učeného prostredia |
| Plánovacie schopnosti | Žiadne explicitné plánovanie, reaktívne politiky | Dokáže simulovať a plánovať viac krokov dopredu |
| Zložitosť implementácie | Vo všeobecnosti jednoduchšie na implementáciu | Zložitejšie kvôli zložke učenia modelu |
| Zovšeobecnenie na nové úlohy | Obmedzené - pre každú novú úlohu sa musí znova učiť | Lepšie - model sa dá prenášať medzi úlohami |
| Robustnosť voči chybám modelu | Nie je ovplyvnené nepresnosťami modelu | Zraniteľné voči chybám modelu zloženia |
| Pozoruhodné algoritmy | DQN, PPO, SAC, A3C | Dyna, MBPO, Dreamer, MuZero |
Hlavný rozdiel spočíva v spôsobe, akým každá metóda získava znalosti. RL bez modelu zaobchádza s prostredím ako s čiernou skrinkou a učí sa výlučne z odmien a prechodov, ktoré pozoruje počas reálnych interakcií. Predstavte si to ako učenie sa bicyklovať výlučne prostredníctvom opakovaných pokusov. RL založené na modeli sa naopak najprv snaží pochopiť pravidlá prostredia a vytvára prediktívny model, ktorý dokáže odpovedať na otázky typu „čo by sa stalo, keby som urobil X?“. Tento zásadný rozdiel formuje všetko od požiadaviek na údaje až po konečný výkon.
Efektivita vzorkovania je oblasť, v ktorej metódy založené na modeloch skutočne vynikajú. Agent bez modelu môže na zvládnutie úlohy potrebovať milióny alebo dokonca miliardy krokov prostredia, zatiaľ čo agent založený na modeloch môže často dosiahnuť podobný výkon s tisíckami krokov. To má obrovský význam v reálnych aplikáciách, kde je zhromažďovanie skúseností drahé, ako napríklad v robotike alebo zdravotníctve. Metódy bez modelu to však kompenzujú tým, že sú jednoduchšie a stabilnejšie, pretože sa nemusia obávať, či je ich naučený model presný.
Agenti založení na modeloch môžu premýšľať predtým, ako konajú, spustením simulácií prostredníctvom svojho interného modelu. To umožňuje sofistikované plánovacie stratégie, ako je napríklad Monte Carlo Tree Search, ktoré preslávilo majstrovstvo AlphaZero v šachu. Agenti bez modelov naopak reagujú priamo na základe svojich naučených pravidiel bez akéhokoľvek dopredu. Aj keď ich to robí rýchlejšími v čase rozhodovania, znamená to tiež, že nemôžu uvažovať o dlhodobých dôsledkoch tak, ako to dokážu systémy založené na modeloch.
Výber medzi týmito prístupmi často závisí od vašich špecifických obmedzení. RL bez modelu dominuje v scenároch s lacnou simuláciou, ako je hranie hier alebo doladenie rozsiahlych jazykových modelov pomocou RLHF. RL založené na modeli vyniká, keď sú interakcie s prostredím nákladné alebo nebezpečné, ako napríklad autonómne riadenie, robotika a objavovanie liekov. Hybridné prístupy, ako napríklad MuZero, ukázali, že kombinácia oboch paradigiem môže zachytiť výhody každej z nich a zároveň zmierniť ich individuálne slabiny.
Metódy bez modelov bývajú pri nasadzovaní predvídateľnejšie, pretože ich správanie závisí iba od naučenej politiky. Systémy založené na modeloch čelia problému skreslenia modelu, kde sa nepresnosti v naučenej dynamike počas plánovania znásobujú a môžu viesť k zlým rozhodnutiam. Výskumníci to riešia technikami, ako je odhad neistoty, robustné plánovanie a modely súborov, ale zostáva to aktívna oblasť výskumu, ktorá sťažuje spoľahlivé nasadenie prístupov založených na modeloch.
RL založené na modeli je vždy lepšie, pretože využíva plánovanie.
Metódy založené na modeloch nie sú univerzálne lepšie. Keď je simulácia lacná a prostredie je dostatočne zložité na to, aby bolo ťažké naučiť sa presný model, prístupy bez modelov často dosahujú lepšie výsledky. Platí princíp „žiadny obed zadarmo“, čo znamená, že najlepšia voľba závisí od obmedzení vášho konkrétneho problému.
RL bez modelu nemôže plánovať ani myslieť dopredu.
Hoci agenti bez modelu explicitne neplánujú v čase rozhodovania, stále sa môžu naučiť implicitné plánovacie správanie prostredníctvom tréningu. Opakujúce sa politiky a mechanizmy pozornosti umožňujú agentom bez modelu vyvíjať interné reprezentácie, ktoré podporujú viackrokové uvažovanie, a to aj bez explicitného modelu sveta.
RL založené na modeli vyžaduje dokonalú znalosť dynamiky prostredia.
Moderné metódy založené na modeloch sa učia svoj dynamický model z údajov, namiesto toho, aby vyžadovali jeho vopred špecifikáciu. Model je zvyčajne približný a nedokonalý, a preto sú techniky na riešenie neistoty modelu aktívnou oblasťou výskumu.
Tieto dva prístupy sú úplne oddelené a nekompatibilné.
Mnohé najmodernejšie systémy kombinujú obe paradigmy. Napríklad MuZero sa učí latentný model prostredia a používa ho na plánovanie, pričom stále využíva techniky učenia bez modelu. Architektúra Dyna explicitne kombinuje naučené modely s učením bez modelu, aby získala to najlepšie z oboch svetov.
Bezmodelové RL je zastarané a bolo nahradené metódami založenými na modeloch.
Bezmodelové RL zostáva veľmi relevantné a široko používané. PPO a SAC sú štandardnými nástrojmi v robotike, hernej umelej inteligencii a trénovaní modelov veľkých jazykov. Mnohé praktické aplikácie stále uprednostňujú bezmodelové metódy kvôli ich jednoduchosti a spoľahlivosti.
Učenie s posilňovaním bez modelu zvoľte, keď máte dostatok výpočtových zdrojov a prístup k lacnej simulácii a vaša úloha si nevyžaduje rozsiahle plánovanie ani prenos do nových prostredí. Učenie s posilňovaním založené na modeli zvoľte, keď je dôležitá efektívnosť vzorky, interakcie s prostredím sú nákladné alebo váš agent potrebuje plánovať viacero krokov dopredu a zovšeobecniť naprieč súvisiacimi úlohami.
A/B testovanie v modelových službách smeruje prevádzku medzi konkurenčnými verziami modelov na meranie reálneho výkonu, zatiaľ čo nasadenie jedného modelu poskytuje jeden model všetkým používateľom. Tímy si medzi nimi vyberajú na základe tolerancie rizika, objemu prevádzky a potreby štatistického overenia pred úplným nasadením.
A/B testovanie pri vydávaní obsahu zahŕňa zavádzanie variácií pre rôzne segmenty publika a meranie výkonnosti, zatiaľ čo jednorazové vydania obsahu ponúkajú jednu verziu všetkým naraz. Každý prístup vyhovuje iným cieľom, pričom A/B testovanie uprednostňuje optimalizáciu na základe dát a jednorazové vydania uprednostňujú rýchlosť a jednoduchosť.
Toto porovnanie analyzuje strategické voľby v strojovom učení medzi adaptáciou domény, ktorá prenáša znalosti z označeného zdrojového prostredia do iného cieľového prostredia, a školením v rámci domény, ktoré vytvára modely výlučne na základe údajov získaných z presného cieľového nastavenia nasadenia.
Toto podrobné porovnanie skúma architektonické rozdiely, prevádzkové limity a reálny výkon adaptívnych inteligenčných systémov v porovnaní so systémami automatizácie s pevným správaním. Pozrieme sa na to, ako systémy, ktoré sa neustále učia z nových environmentálnych údajov, fungujú v porovnaní s rigidnými, predvídateľnými rámcami založenými na pravidlách.
Adaptívne vyhľadávanie dynamicky upravuje spôsob a aké informácie systém načítava na základe dotazu, zatiaľ čo statické vyhľadávacie kanály sa riadia pevnými pravidlami bez ohľadu na kontext. Obe poháňajú moderné aplikácie umelej inteligencie, ale výrazne sa líšia vo flexibilite, nákladoch a presnosti. Výber medzi nimi závisí od zložitosti pracovnej záťaže a rozpočtu.
