Učenje s poskusi in napakami, pogosto imenovano učenje z okrepitvijo, usposablja umetno inteligenco z nagradami in kaznimi zaradi interakcij z okoljem. Označeno učenje nabora podatkov, znano kot nadzorovano učenje, uči modele z uporabo vnaprej označenih primerov. Oba pristopa oblikujeta, kako stroji pridobivajo veščine, vendar se bistveno razlikujeta po zahtevah po podatkih in mehanizmih povratnih informacij.
Pristop k usposabljanju, pri katerem se agenti umetne inteligence učijo optimalnega vedenja prek povratnih informacij iz okolja, pri čemer prejemajo nagrade za dobra dejanja in kazni za slaba.
Metoda učenja, pri kateri se modeli umetne inteligence učijo vzorcev iz naborov podatkov, ki vsebujejo vhodno-izhodne pare, ki so jih ljudje ročno označili s pravilnimi odgovori.
| Funkcija | Učenje s poskusi in napakami | Učenje označenih naborov podatkov |
|---|---|---|
| Paradigma učenja | Učenje z okrepitvijo (RL) | Nadzorovano učenje (SL) |
| Zahteve glede podatkov | Okolje ali simulator za interakcijo | Predhodno označeni vhodno-izhodni pari |
| Povratni signal | Skalarne nagrade ali kazni za dejanja | Oznake resnice za vsak primer |
| Človeški napor pri anotacijah | Minimalno ali nič med treningom | Obsežno označevanje je potrebno vnaprej |
| Hitrost treninga | Pogosto počasno zaradi potreb po raziskovanju | Na splošno hitreje z direktnimi gradientnimi signali |
| Učinkovitost vzorca | Običajno nizka, zahteva veliko interakcij | Višje, uči se neposredno iz primerov |
| Najboljši primeri uporabe | Zaporedne odločitve, igre, robotika | Klasifikacija, regresija, napoved |
| Raziskovalne zmogljivosti | Vgrajeno, odkriva nove strategije | Omejeno na vzorce v učnih podatkih |
| Ključni algoritmi | Q-učenje, PPO, DQN, A3C | Linearna regresija, CNN, transformatorji, SVM |
Učenje s poskusi in napakami deluje tako, da agentu omogoči interakcijo z okoljem in opazovanje posledic njegovih dejanj. Ko agent stori nekaj koristnega, prejme številčno nagrado; ko naredi napako, prejme kazen ali pa sploh nič. Skozi tisoče ali milijone iteracij agent postopoma gradi politiko, ki maksimizira kumulativno nagrado. Učenje označenih naborov podatkov ubere povsem drugačno pot. Tukaj ljudje pripravijo nabor podatkov, kjer je vsak vhod povezan s pravilnim izhodom, model pa prilagodi svoje notranje parametre, da se čim bolj ujemajo s temi odgovori.
Ena največjih praktičnih razlik je v načinu pridobivanja podatkov za učenje. Nadzorovano učenje zahteva skrbno označene nabore podatkov, njihovo ustvarjanje pa je lahko ogromen podvig. Projekti medicinskega slikanja na primer pogosto zahtevajo, da strokovni radiologi označijo tisoče posnetkov, kar stroške poveča na stotine tisoč dolarjev. Učenje z okrepitvijo se izogne tej ozki grlini z ustvarjanjem lastnega učnega signala prek interakcije, čeprav to težavo zamenja za drugo: potrebo po realističnem okolju ali simulatorju, kjer lahko agent varno eksperimentira.
Ko cilj vključuje zaporedno odločanje, kjer je pomembna dolgoročna strategija, se izkaže učenje s poskusi in napakami. Igre, kot so šah, Go in StarCraft, so osvojili agenti RL, ki so odkrili strategije, ki si jih še noben človek ni zamislil. Nadzorovano učenje prevladuje, ko imate jasne primere pravilnega vedenja in potrebujete zanesljive napovedi na podlagi novih podatkov. Naloge, kot so odkrivanje goljufivih transakcij, prepoznavanje obrazov na fotografijah ali prevajanje med jeziki, so močno odvisne od označenih učnih nizov, ker je preslikava od vhoda do izhoda dobro definirana.
Učenje z okrepitvijo se spopada z neučinkovitostjo vzorcev, saj včasih zahteva milijone epizod za učenje nalog, ki bi jih človek lahko obvladal v nekaj minutah. Sooča se tudi z dilemo raziskovanja in izkoriščanja, kjer mora agent uravnotežiti preizkušanje novih dejanj z vztrajanjem pri znanih dobrih. Nadzorovano učenje pa omejujeta kakovost in raznolikost njegovih učnih oznak. Modeli lahko podedujejo človeške pristranskosti, odpovejo pri vhodnih podatkih, ki niso v distribuciji, in dosežejo plato, ko zmanjka označenih podatkov. Oba pristopa imata skupne izzive glede interpretabilnosti in varnosti, čeprav se kažeta različno.
Meja med tema paradigmama se je v zadnjih letih precej zabrisala. Tehnike, kot je RLHF (učenje z okrepitvijo iz človeških povratnih informacij), združujejo oba svetova z uporabo človeških preferenc kot signalov nagrajevanja za fino uglaševanje modelov, ki so bili prvotno usposobljeni na označenih podatkih. Kot srednja pot se je pojavilo tudi samonadzorovano učenje, kjer modeli ustvarijo lastne oznake iz neoznačenih podatkov, preden jih fino uglasijo na manjših kuriranih naborih. Te hibridne metode pogosto prekašajo čiste pristope, kar kaže na to, da je prihodnost učenja umetne inteligence v združevanju prednosti obeh strategij.
Učenje z utrjevanjem vedno potrebuje fizičnega robota za delovanje.
Večina sodobnih raziskav RL se v celoti odvija v programskih simulatorjih. Okolja segajo od videoiger in fizikalnih motorjev do virtualnih svetov, zgrajenih po meri. Fizični roboti se uporabljajo le, kadar končna aplikacija zahteva uporabo v resničnem svetu, in tudi takrat se usposabljanje običajno začne v simulaciji, preden se prenese na strojno opremo.
Nadzorovano učenje lahko reši kateri koli problem, če le vanj vključite dovolj podatkov.
Več podatkov pomaga le do določene točke. Če so oznake šumne, pristranske ali ne pokrivajo pomembnih robnih primerov, se bo model naučil teh pomanjkljivosti. Kakovost in raznolikost opomb sta prav tako pomembni kot količina, nekaterih problemov pa preprosto ni mogoče opredeliti kot nadzorovane naloge napovedovanja.
Učenje s poskusi in napakami je popolnoma nenadzorovano.
Učenje z utrjevanjem je pravzaprav samostojna kategorija, ločena od nadzorovanega in nenadzorovanega učenja. Čeprav ne potrebuje označenih vhodnih podatkov, se zanaša na signale nagrajevanja, ki jih morajo oblikovati ljudje. Oblikovanje dobre funkcije nagrajevanja je samo po sebi zahteven inženirski problem.
Učenje označenih naborov podatkov je zastarelo zaradi samonadzorovanih metod.
Nadzorovano učenje ostaja glavna delovna sila produkcijskih sistemov umetne inteligence. Samonadzorovano predhodno učenje pogosto zmanjša količino potrebnih označenih podatkov, vendar je natančno nastavljanje na označenih primerih še vedno bistveno za večino nameščenih aplikacij. Oba pristopa se dopolnjujeta in ne nadomeščata.
Agenti za učenje z okrepitvijo vedno najdejo optimalno rešitev, če jim je na voljo dovolj časa.
Agenti RL se lahko zataknejo v neoptimalnih politikah, zlasti kadar so signali nagrajevanja redki ali slabo zasnovani. Raziskovanje je v osnovi težavno in agenti morda nikoli ne bodo odkrili boljših strategij, če so nagrade zavajajoče ali če je prostor stanj prevelik za temeljito iskanje.
Izberite učenje s poskusi in napakami, kadar vaš problem vključuje zaporedne odločitve, dinamična okolja ali situacije, kjer je vnaprej težko opredeliti pravilno vedenje, kot so na primer nadzor robotike ali strateške igre. Za učenje označenih naborov podatkov se odločite, kadar imate dostop do kakovostnih označenih podatkov in potrebujete zanesljive napovedi za dobro definirane naloge, kot so klasifikacija, regresija ali prepoznavanje vzorcev. Mnogi sistemi iz resničnega sveta imajo koristi od kombiniranja obeh pristopov, namesto da bi izbrali izključno enega.
A/B testiranje pri izdajah vsebin vključuje uvajanje različic za različne segmente občinstva in merjenje uspešnosti, medtem ko enkratne izdaje vsebin hkrati vsem ponudijo eno različico. Vsak pristop ustreza različnim ciljem, pri čemer A/B testiranje daje prednost optimizaciji, ki temelji na podatkih, enkratne izdaje pa dajejo prednost hitrosti in preprostosti.
A/B testiranje pri streženju modelov usmerja promet med konkurenčnimi različicami modelov za merjenje učinkovitosti v resničnem svetu, medtem ko uvedba enega modela vsem uporabnikom dostavi en model. Ekipe izbirajo med njimi glede na toleranco tveganja, količino prometa in potrebo po statistični potrditvi pred popolno uvedbo.
Agenti umetne inteligence so avtonomni, ciljno usmerjeni sistemi, ki lahko načrtujejo, sklepajo in izvajajo naloge v različnih orodjih, medtem ko tradicionalne spletne aplikacije sledijo fiksnim delovnim procesom, ki jih vodijo uporabniki. Primerjava poudarja premik od statičnih vmesnikov k prilagodljivim, kontekstualno ozaveščenim sistemom, ki lahko proaktivno pomagajo uporabnikom, avtomatizirajo odločitve in dinamično komunicirajo med več storitvami.
Ta arhitekturna primerjava primerja deterministično inženirstvo agentov, ki temeljijo na pravilih, s prilagodljivo naravo učnih agentov, ki temeljijo na podatkih, ter ocenjuje njihovo uporabnost v resničnem svetu, omejitve skaliranja in delovanje v negotovosti.
Agentni sistemi umetne inteligence lahko načrtujejo, izvajajo večstopenjske naloge in avtonomno komunicirajo z zunanjimi orodji, medtem ko tradicionalni klepetalni roboti LLM primarno ustvarjajo besedilne odgovore v enem samem pogovornem koraku. Ključna razlika je v agenciji: agentni sistemi delujejo na podlagi ciljev, medtem ko klepetalni roboti reagirajo na pozive.
