Učenje na podlagi politik in učenje izven politik sta dva temeljna pristopa k učenju s krepitvijo, ki se razlikujeta po tem, kako agenti zbirajo in uporabljajo izkušnje. Metode na podlagi politik se učijo iz dejanj, ki jih agent dejansko izvede, medtem ko se metode izven politik lahko učijo iz podatkov, zbranih z drugimi politikami ali preteklim vedenjem.
Pristop učenja z okrepitvijo, pri katerem se agent uči iz dejanj, ki jih trenutno izvaja v okviru iste politike, ki se izboljšuje.
Pristop učenja z okrepitvijo, pri katerem se agent uči iz izkušenj, ki jih ustvari drugačna politika od tiste, ki se optimizira.
| Funkcija | Učenje na podlagi politik | Učenje izven politik |
|---|---|---|
| Vir podatkov | Samo iz trenutne politike | Vsi podatki o pravilnikih ali zgodovini |
| Učinkovitost vzorca | Nižje, potrebni so sveži podatki | Višje, ponovno uporablja pretekle izkušnje |
| Stabilnost treninga | Na splošno bolj stabilno | Lahko je manj stabilno zaradi premika porazdelitve |
| Raziskovanje | Vezano na trenutno politiko | Ločeno od politike vedenja |
| Primeri algoritmov | SARSA, PPO, A2C, OKREPITEV | Q-učenje, DQN, DDPG, SAC, TD3 |
| Zahteve glede pomnilnika | Nižje, ni potreben medpomnilnik za ponovno predvajanje | Višje, zahteva velike medpomnilnike za ponovno predvajanje |
| Pogosti primeri uporabe | Igralna umetna inteligenca, simulacija robotike, jezikovni modeli | Robotika, sistemi priporočil, avtonomna vožnja |
| Kompromis med pristranskostjo in varianco | Nižja varianca, nekaj pristranskosti | Manjša pristranskost, večja varianca |
Temeljna razlika je v tem, katera politika generira podatke za učenje. Učenje na podlagi politik ocenjuje in izboljšuje natančno politiko, ki se upošteva med raziskovanjem, kar pomeni, da vsaka posodobitev odraža dejanja, ki bi jih agent dejansko izvedel. Učenje izven politik te pomisleke popolnoma ločuje in agentu omogoča, da se nauči optimalnega vedenja iz podatkov, ki jih je morda zbrala starejša različica samega sebe, naključna politika ali celo človeški demonstrator.
Metode, ki ne upoštevajo pravil, so zelo učinkovite, kadar so podatki dragi ali redki. Z shranjevanjem prehodov v medpomnilnik za ponovno predvajanje in večkratnim vzorčenjem iz njega lahko algoritmi, kot sta DQN in SAC, iz vsake interakcije z okoljem izvlečejo največjo učno vrednost. Metode, ki ne upoštevajo pravil, običajno zavržejo podatke po enkratni uporabi, kar dobro deluje v poceni simulacijskih okoljih, vendar postane nepraktično, kadar vsaka interakcija stane realen čas ali denar, na primer v fizični robotiki.
Pristopi, ki temeljijo na politikah, običajno ponujajo bolj predvidljivo konvergenco, ker politika, ki se optimizira, vedno ustvarja podatke, s čimer se odpravi neskladje v porazdelitvi. Metode, ki ne temeljijo na politikah, se soočajo z izzivom premika porazdelitve, kjer se porazdelitev podatkov razlikuje od tiste, ki bi jo ustvarila trenutna politika, kar včasih povzroči nestabilnost ali razhajanje. Tehnike, kot so ciljna omrežja, vzorčenje po pomembnosti in omejitve politik, pomagajo ublažiti te težave, vendar povečujejo kompleksnost.
Pri učenju na podlagi politik je raziskovanje neločljivo povezano s trenutno politiko, kar se pogosto doseže s stohastično izbiro dejanj ali entropijskimi bonusi. Učenje izven politik ločuje raziskovanje od učenja, kar omogoča ločene vedenjske politike, ki lahko raziskujejo na široko, medtem ko se ciljna politika uči izkoriščati. Ta ločitev omogoča sofisticirane strategije raziskovanja, kot so epsilon-pohlepne politike z upadajočimi urniki ali vedenjske politike, ki jih poganja radovednost.
Metode, ki temeljijo na pravilnikih, prevladujejo na področjih, kjer je simulacija poceni in je stabilnost pomembna, kot sta na primer usposabljanje igralnih agentov in fino uglaševanje velikih jezikovnih modelov z RLHF. Metode, ki ne temeljijo na pravilnikih, so odlične v robotiki, kjer je zbiranje podatkov iz resničnega sveta drago, in v sistemih priporočil, kjer obsežni dnevniki uporabniških interakcij zagotavljajo bogate podatke za učenje. Izbira je pogosto odvisna od tega, ali imate obilo simulacij ali dragocene podatke iz resničnega sveta.
Učenje izven politik je vedno boljše, ker ponovno uporablja podatke.
Čeprav so metode, ki ne temeljijo na pravilih, učinkovitejše pri vzorčenju, pogosto trpijo zaradi nestabilnosti učenja in zahtevajo skrbno nastavitev tehnik, kot so ciljna omrežja in vzorčenje po pomembnosti. Metode, ki temeljijo na pravilih, lahko prekašajo pristope, ki ne temeljijo na pravilih, v okoljih, kjer je simulacija poceni in je stabilnost najpomembnejša.
Učenje na podlagi politik ne more uporabljati preteklih podatkov.
Metode, ki so skladne s pravilniki, lahko tehnično uporabljajo pretekle podatke, vendar to zahteva popravke vzorčenja zaradi pomembnosti, ki uvajajo veliko varianco. V praksi najbolje delujejo s svežimi podatki iz trenutnega pravilnika, zato algoritmi, kot je PPO, zbirajo uvedbe, se na njih učijo in jih zavržejo.
Q-učenje ni v skladu s politiko, ker se uči optimalne vrednosti dejanja.
Q-učenje je razvrščeno kot učenje izven politike, ker se uči o optimalni politiki, medtem ko med raziskovanjem potencialno sledi drugačni politiki vedenja. Cilj, iz katerega se zaganja, predpostavlja pohlepno izbiro dejanj, ki se lahko razlikuje od dejanj, ki so bila dejansko izvedena za ustvarjanje podatkov.
Vsi algoritmi za globoko učenje z okrepitvijo so izven politike.
Številni priljubljeni algoritmi globokega učenja v realnem času (GLO) so v skladu s pravilniki, vključno s PPO, A2C in TRPO. Razlika med algoritmi v skladu s pravilniki in algoritmi izven pravilnikov obstaja neodvisno od tega, ali se uporabljajo nevronske mreže, in obe kategoriji imata uspešne implementacije globokega učenja.
Učenje izven politik vedno hitreje konvergira kot učenje na politiki.
Hitrost konvergence je odvisna od okolja in implementacije. Metode, ki niso v skladu s pravilniki, morda potrebujejo manj interakcij z okoljem, vendar pogosto zahtevajo več posodobitev gradientov in skrbno uglaševanje hiperparametrov. Pri nekaterih nalogah metode, ki so v skladu s pravilniki, hitreje dosežejo dobre pravilnike v času stenske ure kljub uporabi več vzorcev.
Izberite učenje na podlagi pravilnikov, kadar potrebujete stabilnost učenja in imate dostop do poceni simulacijskih okolij, zlasti za naloge, kot so umetna inteligenca v igrah ali metode gradienta pravilnikov v jezikovnih modelih. Za učenje zunaj pravilnikov se odločite, kadar je učinkovitost vzorčenja ključnega pomena, kadar je zbiranje podatkov drago ali kadar se morate učiti iz obstoječih naborov podatkov, kot so demonstracije ali zabeležene interakcije.
A/B testiranje pri izdajah vsebin vključuje uvajanje različic za različne segmente občinstva in merjenje uspešnosti, medtem ko enkratne izdaje vsebin hkrati vsem ponudijo eno različico. Vsak pristop ustreza različnim ciljem, pri čemer A/B testiranje daje prednost optimizaciji, ki temelji na podatkih, enkratne izdaje pa dajejo prednost hitrosti in preprostosti.
A/B testiranje pri streženju modelov usmerja promet med konkurenčnimi različicami modelov za merjenje učinkovitosti v resničnem svetu, medtem ko uvedba enega modela vsem uporabnikom dostavi en model. Ekipe izbirajo med njimi glede na toleranco tveganja, količino prometa in potrebo po statistični potrditvi pred popolno uvedbo.
Agenti umetne inteligence so avtonomni, ciljno usmerjeni sistemi, ki lahko načrtujejo, sklepajo in izvajajo naloge v različnih orodjih, medtem ko tradicionalne spletne aplikacije sledijo fiksnim delovnim procesom, ki jih vodijo uporabniki. Primerjava poudarja premik od statičnih vmesnikov k prilagodljivim, kontekstualno ozaveščenim sistemom, ki lahko proaktivno pomagajo uporabnikom, avtomatizirajo odločitve in dinamično komunicirajo med več storitvami.
Ta arhitekturna primerjava primerja deterministično inženirstvo agentov, ki temeljijo na pravilih, s prilagodljivo naravo učnih agentov, ki temeljijo na podatkih, ter ocenjuje njihovo uporabnost v resničnem svetu, omejitve skaliranja in delovanje v negotovosti.
Agentni sistemi umetne inteligence lahko načrtujejo, izvajajo večstopenjske naloge in avtonomno komunicirajo z zunanjimi orodji, medtem ko tradicionalni klepetalni roboti LLM primarno ustvarjajo besedilne odgovore v enem samem pogovornem koraku. Ključna razlika je v agenciji: agentni sistemi delujejo na podlagi ciljev, medtem ko klepetalni roboti reagirajo na pozive.
