Učenie metódou pokus-omyl, často nazývané posilňovacie učenie, trénuje umelú inteligenciu prostredníctvom odmien a penalizácií z interakcií s prostredím. Učenie s označenými súbormi údajov, známe ako supervízované učenie, učí modely pomocou vopred označených príkladov. Oba prístupy formujú spôsob, akým stroje získavajú zručnosti, ale zásadne sa líšia v požiadavkách na údaje a mechanizmoch spätnej väzby.
Tréningový prístup, v ktorom sa agenti s umelou inteligenciou učia optimálne správanie prostredníctvom spätnej väzby z prostredia, pričom dostávajú odmeny za dobré činy a penalizácie za zlé.
Trénovacia metóda, pri ktorej sa modely umelej inteligencie učia vzory z dátových súborov obsahujúcich páry vstup-výstup, ktoré ľudia manuálne anotovali správnymi odpoveďami.
| Funkcia | Učenie metódou pokus-omyl | Učenie sa označených dátových súborov |
|---|---|---|
| Paradigma učenia | Posilňovacie učenie (RL) | Kontrolované učenie (SL) |
| Požiadavky na údaje | Prostredie alebo simulátor pre interakciu | Vopred označené vstupno-výstupné páry |
| Signál spätnej väzby | Skalárne odmeny alebo penalizácie z akcií | Štítky základných údajov pre každý príklad |
| Úsilie o ľudskú anotáciu | Minimálne až žiadne počas tréningu | Vyžaduje sa rozsiahle označovanie vopred |
| Rýchlosť tréningu | Často pomalé kvôli potrebám prieskumu | Vo všeobecnosti rýchlejšie s priamymi gradientovými signálmi |
| Účinnosť vzorky | Typicky nízke, vyžaduje si veľa interakcií | Vyššia, učí sa priamo z príkladov |
| Najlepšie prípady použitia | Sekvenčné rozhodnutia, hry, robotika | Klasifikácia, regresia, predikcia |
| Prieskumná schopnosť | Vstavaný, objavuje nové stratégie | Obmedzené na vzory v tréningových dátach |
| Kľúčové algoritmy | Q-learning, PPO, DQN, A3C | Lineárna regresia, CNN, transformátory, SVM |
Učenie metódou pokus-omyl funguje tak, že agent interaguje s prostredím a pozoruje dôsledky svojich činov. Keď agent urobí niečo prospešné, dostane číselnú odmenu; keď urobí chybu, dostane penalizáciu alebo nič. Počas tisícok alebo miliónov iterácií si agent postupne vytvára pravidlá, ktoré maximalizujú kumulatívnu odmenu. Učenie s označenými súbormi údajov ide úplne inou cestou. V tomto prípade ľudia pripravia súbor údajov, kde je každý vstup spárovaný so správnym výstupom, a model upraví svoje vnútorné parametre tak, aby sa čo najviac zhodovali s týmito odpoveďami.
Jeden z najväčších praktických rozdielov spočíva v spôsobe získavania trénovacích dát. Kontrolované učenie si vyžaduje starostlivo označené súbory údajov a ich vytváranie môže byť rozsiahlou úlohou. Napríklad projekty lekárskeho zobrazovania často vyžadujú, aby odborní rádiológovia anotovali tisíce skenov, čo zvyšuje náklady na státisíce dolárov. Posilňovacie učenie obchádza toto úzke miesto generovaním vlastného trénovacieho signálu prostredníctvom interakcie, hoci tento problém vymieňa za iný: potrebu realistického prostredia alebo simulátora, kde môže agent bezpečne experimentovať.
Keď cieľ zahŕňa postupné rozhodovanie, kde záleží na dlhodobej stratégii, vynikne metóda pokus-omyl. Hry ako šach, Go a StarCraft boli dobyté RL agentmi, ktorí objavili stratégie, aké nikto iný nikdy nevymyslel. Kontrolované učenie dominuje, keď máte jasné príklady správneho správania a potrebujete spoľahlivé predpovede na základe nových údajov. Úlohy, ako je odhaľovanie podvodných transakcií, rozpoznávanie tvárí na fotografiách alebo preklad medzi jazykmi, sa vo veľkej miere spoliehajú na označené trénovacie množiny, pretože mapovanie zo vstupu na výstup je dobre definované.
Posilňovacie učenie zápasí s neefektívnosťou vzorkovania, niekedy si vyžaduje milióny epizód na naučenie sa úloh, ktoré by človek zvládol za pár minút. Čelí tiež dileme prieskumu a využívania, kde agent musí vyvažovať skúšanie nových akcií s tým, že sa drží známych dobrých. Kontrolované učenie je medzitým obmedzené kvalitou a rozmanitosťou svojich trénovacích označení. Modely môžu zdediť ľudské predsudky, zlyhať na vstupoch mimo distribúcie a stagnovať, keď sa označené údaje vyčerpajú. Oba prístupy majú spoločné výzvy týkajúce sa interpretovateľnosti a bezpečnosti, hoci sa prejavujú odlišne.
Hranica medzi týmito paradigmami sa v posledných rokoch značne rozmazala. Techniky ako RLHF (Reinforcement Learning from Human Feedback) kombinujú oba svety tým, že využívajú ľudské preferencie ako signály odmeny na doladenie modelov pôvodne trénovaných na označených dátach. Samoučenie sa tiež objavilo ako stredná cesta, kde modely vytvárajú vlastné označenia z neoznačených dát a potom sa dolaďujú na menších kurátorovaných súboroch. Tieto hybridné metódy často prekonávajú čisté prístupy, čo naznačuje, že budúcnosť trénovania umelej inteligencie spočíva v kombinácii silných stránok oboch stratégií.
Posilňovacie učenie vždy potrebuje na fungovanie fyzického robota.
Väčšina moderného výskumu v oblasti RL sa odohráva výlučne v softvérových simulátoroch. Prostredia siahajú od videohier a fyzikálnych enginov až po virtuálne svety vytvorené na mieru. Fyzikálne roboty sa používajú iba vtedy, keď konečná aplikácia vyžaduje nasadenie v reálnom svete, a aj vtedy sa tréning zvyčajne začína v simulácii pred prenosom do hardvéru.
Kontrolované učenie dokáže vyriešiť akýkoľvek problém, ak doňho dáte dostatok údajov.
Viac údajov pomáha len do určitej miery. Ak sú popisky zašumené, skreslené alebo nepokrývajú dôležité okrajové prípady, model sa tieto nedostatky naučí. Kvalita a rozmanitosť anotácií sú rovnako dôležité ako kvantita a niektoré problémy jednoducho nemožno formulovať ako úlohy riadenej predikcie.
Učenie metódou pokus-omyl je úplne bez dozoru.
Posilňovacie učenie je v skutočnosti samostatnou kategóriou, oddelenou od riadeného aj neriadeného učenia. Hoci nepotrebuje označené vstupy, spolieha sa na signály odmeny, ktoré musia byť navrhnuté ľuďmi. Vytvorenie dobrej funkcie odmeny je samo o sebe náročným technickým problémom.
Učenie sa pomocou označených súborov údajov je zastarané kvôli metódam so samoreguláciou.
Kontrolované učenie zostáva ťažným koňom produkčných systémov umelej inteligencie. Samokontrolované predtrénovanie často znižuje množstvo potrebných označených údajov, ale jemné doladenie na označených príkladoch je stále nevyhnutné pre väčšinu nasadených aplikácií. Tieto dva prístupy sa skôr dopĺňajú, než nahrádzajú.
Agenti posilňovacieho učenia vždy nájdu optimálne riešenie pri dostatočnom časovom predstihu.
Agenti RL sa môžu zaseknúť v suboptimálnych politikách, najmä ak sú signály odmien riedke alebo zle navrhnuté. Prieskum je zásadne zložitý a agenti nemusia nikdy objaviť lepšie stratégie, ak sú odmeny zavádzajúce alebo ak je stavový priestor príliš rozsiahly na dôkladné prehľadávanie.
Učenie metódou pokus-omyl zvoľte, keď váš problém zahŕňa sekvenčné rozhodnutia, dynamické prostredia alebo situácie, kde je ťažké vopred definovať správne správanie, ako napríklad riadenie robotiky alebo strategické hry. Učenie s označenými súbormi údajov zvoľte, keď máte prístup ku kvalitným anotovaným údajom a potrebujete spoľahlivé predpovede pre dobre definované úlohy, ako je klasifikácia, regresia alebo rozpoznávanie vzorov. Mnohé systémy z reálneho sveta profitujú z kombinácie oboch prístupov, než z výberu výlučne jedného.
A/B testovanie v modelových službách smeruje prevádzku medzi konkurenčnými verziami modelov na meranie reálneho výkonu, zatiaľ čo nasadenie jedného modelu poskytuje jeden model všetkým používateľom. Tímy si medzi nimi vyberajú na základe tolerancie rizika, objemu prevádzky a potreby štatistického overenia pred úplným nasadením.
A/B testovanie pri vydávaní obsahu zahŕňa zavádzanie variácií pre rôzne segmenty publika a meranie výkonnosti, zatiaľ čo jednorazové vydania obsahu ponúkajú jednu verziu všetkým naraz. Každý prístup vyhovuje iným cieľom, pričom A/B testovanie uprednostňuje optimalizáciu na základe dát a jednorazové vydania uprednostňujú rýchlosť a jednoduchosť.
Toto porovnanie analyzuje strategické voľby v strojovom učení medzi adaptáciou domény, ktorá prenáša znalosti z označeného zdrojového prostredia do iného cieľového prostredia, a školením v rámci domény, ktoré vytvára modely výlučne na základe údajov získaných z presného cieľového nastavenia nasadenia.
Toto podrobné porovnanie skúma architektonické rozdiely, prevádzkové limity a reálny výkon adaptívnych inteligenčných systémov v porovnaní so systémami automatizácie s pevným správaním. Pozrieme sa na to, ako systémy, ktoré sa neustále učia z nových environmentálnych údajov, fungujú v porovnaní s rigidnými, predvídateľnými rámcami založenými na pravidlách.
Adaptívne vyhľadávanie dynamicky upravuje spôsob a aké informácie systém načítava na základe dotazu, zatiaľ čo statické vyhľadávacie kanály sa riadia pevnými pravidlami bez ohľadu na kontext. Obe poháňajú moderné aplikácie umelej inteligencie, ale výrazne sa líšia vo flexibilite, nákladoch a presnosti. Výber medzi nimi závisí od zložitosti pracovnej záťaže a rozpočtu.
