Optimizacija politik na osnovi gradientov se uči strategij krmiljenja s pomočjo nagrajevalnih signalov poskusov in napak, medtem ko sistemi krmiljenja na osnovi pravil sledijo ročno kodirani logiki. Eden se prilagaja kompleksnim okoljem z izkušnjami, drugi pa ponuja predvidljivo, pregledno vedenje brez učnih podatkov.
Pristop učenja z okrepitvijo, ki prilagaja parametre politike z uporabo gradientnih signalov, pridobljenih iz povratnih informacij o nagradah.
Krmilne arhitekture, ki delujejo na podlagi vnaprej določenih logičnih pogojev, pragov in stavkov če-potem, ki jih napišejo inženirji.
| Funkcija | Optimizacija politik na podlagi gradienta | Sistemi za nadzor, ki temeljijo na pravilih |
|---|---|---|
| Učni pristop | Uči se iz signalov nagrajevanja prek posodobitev gradienta | Izvaja vnaprej programirana pravila brez učenja |
| Zahteve glede podatkov | Zahteva velike količine podatkov o interakcijah | Podatki o usposabljanju niso potrebni |
| Razumljivost | Pogosto črna skrinjica; uteži politik so nepregledne | Popolnoma pregledno; pravila je mogoče prebrati neposredno |
| Prilagodljivost | Prilagaja se novim situacijam z nenehnim usposabljanjem | Popravljeno med načrtovanjem; zahteva ročne posodobitve |
| Hitrost uvajanja | Počasi; pogosto so potrebni tedni do meseci usposabljanja | Hitro; uvedba, ko so pravila napisana in preizkušena |
| Obravnavanje visokodimenzionalnih vhodnih podatkov | Odlično deluje s surovimi slikovnimi pikami, senzorskimi nizi in kompleksnimi prostori stanj | Težave brez ročnega inženiringa funkcij |
| Varnostna jamstva | Težko formalno preveriti; lahko kaže nepričakovano vedenje | Lažje preverjanje s formalnimi metodami in testiranjem |
| Računalniški stroški med izvajanjem | Višje; zahteva sklepanje nevronske mreže | Nižje; zadostujejo preproste logične operacije |
Optimizacija politik na podlagi gradientov deluje tako, da parametrizira politiko, običajno kot nevronsko mrežo, in nato prilagodi njene uteži v smeri, ki povečujejo pričakovano nagrado. Sistem raziskuje dejanja, opazuje rezultate in uporablja gradient signala nagrade za izboljšanje skozi čas. Sistemi, ki temeljijo na pravilih, pa sledijo fiksnemu odločitvenemu drevesu ali nizu logičnih pogojev. Inženir napiše nekaj takega kot »če temperatura preseže 90 °C, zmanjšaj moč« in krmilnik vsakič brez odstopanja upošteva to pravilo.
Za delovanje metode gradienta politik je potrebno definirati funkcijo nagrajevanja, vzpostaviti okolje za interakcijo in izvajati optimizacijo, dokler se politika ne zbliža, kar lahko traja več dni ali tednov računanja. Sistemi, ki temeljijo na pravilih, vse to preskočijo. Strokovnjak za določeno področje znanje prevede v kodo, jo preizkusi in pošlje. Kompromis je v tem, da sistemi, ki temeljijo na pravilih, vedo le tisto, kar jim poveste, medtem ko lahko naučene politike odkrijejo strategije, ki jih noben programer ni izrecno napisal.
Ko krmilnik, ki temelji na pravilih, ne deluje pravilno, lahko natančno izsledite pogoj, ki je sprožil slab izhod. Zaradi te vrste preglednosti sistemi, ki temeljijo na pravilih, prevladujejo v letalstvu, medicinskih pripomočkih in nadzoru jedrskih elektrarn. Metode gradienta politik ne ponujajo takšnega razkošja. Njihovo vedenje izhaja iz milijonov vrednosti uteži in celo raziskovalci se včasih težko pojasnijo, zakaj je usposobljen agent izbral določeno dejanje v določenem stanju.
Za naloge z bogatim senzoričnim vnosom, kot je igranje iger Atari iz surovih slikovnih pik ali upravljanje humanoidnega robota z ducati sklepov, imajo metode, ki temeljijo na gradientih, jasno prednost. Samodejno se naučijo hierarhičnih značilnosti in lahko obravnavajo prostore neprekinjenega delovanja, ki bi jih bilo nepraktično kodirati ročno. Sistemi, ki temeljijo na pravilih, se v takšnih okoljih običajno ustalijo, ker število potrebnih pravil eksponentno narašča s kompleksnostjo vnosa.
Regulirane panoge običajno dajejo prednost sistemom, ki temeljijo na pravilih, ker jih je mogoče formalno preveriti. Dokažete lahko, da krmilnik nikoli ne bo vstopil v določena nevarna stanja. Naučene politike se upirajo tej vrsti analize, čeprav raziskave preverljivega učenja z okrepitvijo še potekajo. Hibridni pristopi, kjer varnostna plast, ki temelji na pravilih, ovije naučeno politiko, postajajo priljubljeni kot srednja pot.
Metode gradienta politik vedno prekašajo sisteme, ki temeljijo na pravilih.
Pri dobro definiranih industrijskih krmilnih nalogah se pravilno nastavljen krmilnik, ki temelji na pravilih, pogosto ujema z naučeno politiko ali jo premaga, pri čemer porabi le delček računskih sredstev. Naučene metode se izkažejo na področjih, kjer je ročno pisanje pravil nepraktično, ne pa pri vsaki težavi.
Sistemi, ki temeljijo na pravilih, so v sodobni umetni inteligenci zastareli.
Sistemi, ki temeljijo na pravilih, ostajajo hrbtenica varnostno kritične infrastrukture, od avtopilotov letal do medicinskih infuzijskih črpalk. V hibridnih arhitekturah se pogosto kombinirajo z naučenimi komponentami, namesto da bi se jih v celoti nadomestilo.
Ko je agent za gradient politik enkrat usposobljen, je »končan« in ga nikoli več ne potrebuje posodobitev.
Premik porazdelitve, premik senzorjev in spreminjajoča se okolja lahko poslabšajo delovanje naučenega pravilnika. Številni nameščeni sistemi vključujejo nenehno učenje ali občasno ponovno usposabljanje, da ostanejo učinkoviti.
Sistemi, ki temeljijo na pravilih, ne morejo obvladovati negotovosti.
Krmilniki mehke logike in sistemi verjetnostnih pravil že desetletja obravnavajo negotovost. Za sklepanje o šumnih vhodnih podatkih uporabljajo funkcije pripadnosti in pragove zaupanja namesto jasnih logičnih pogojev.
Metode gradienta politik vedno konvergirajo k optimalni politiki.
Konvergenčna jamstva obstajajo le pod restriktivnimi predpostavkami. V praksi se politike pogosto ustalijo v lokalnih optimalnih pogojih, zasnova funkcije nagrajevanja pa močno vpliva na to, kaj "optimalno" sploh pomeni.
Izberite optimizacijo politik na podlagi gradientov, kadar je okolje preveč zapleteno za ročno kodiranje, kadar imate na voljo obilo simulacijskih ali interakcijskih podatkov in kadar je vrhunska zmogljivost pomembnejša od interpretabilnosti. Izberite nadzorne sisteme, ki temeljijo na pravilih, kadar je potrebno varnostno certificiranje, kadar je problem dobro razumljen ali kadar potrebujete delujočo rešitev že danes brez infrastrukture za usposabljanje.
A/B testiranje pri izdajah vsebin vključuje uvajanje različic za različne segmente občinstva in merjenje uspešnosti, medtem ko enkratne izdaje vsebin hkrati vsem ponudijo eno različico. Vsak pristop ustreza različnim ciljem, pri čemer A/B testiranje daje prednost optimizaciji, ki temelji na podatkih, enkratne izdaje pa dajejo prednost hitrosti in preprostosti.
A/B testiranje pri streženju modelov usmerja promet med konkurenčnimi različicami modelov za merjenje učinkovitosti v resničnem svetu, medtem ko uvedba enega modela vsem uporabnikom dostavi en model. Ekipe izbirajo med njimi glede na toleranco tveganja, količino prometa in potrebo po statistični potrditvi pred popolno uvedbo.
Agenti umetne inteligence so avtonomni, ciljno usmerjeni sistemi, ki lahko načrtujejo, sklepajo in izvajajo naloge v različnih orodjih, medtem ko tradicionalne spletne aplikacije sledijo fiksnim delovnim procesom, ki jih vodijo uporabniki. Primerjava poudarja premik od statičnih vmesnikov k prilagodljivim, kontekstualno ozaveščenim sistemom, ki lahko proaktivno pomagajo uporabnikom, avtomatizirajo odločitve in dinamično komunicirajo med več storitvami.
Ta arhitekturna primerjava primerja deterministično inženirstvo agentov, ki temeljijo na pravilih, s prilagodljivo naravo učnih agentov, ki temeljijo na podatkih, ter ocenjuje njihovo uporabnost v resničnem svetu, omejitve skaliranja in delovanje v negotovosti.
Agentni sistemi umetne inteligence lahko načrtujejo, izvajajo večstopenjske naloge in avtonomno komunicirajo z zunanjimi orodji, medtem ko tradicionalni klepetalni roboti LLM primarno ustvarjajo besedilne odgovore v enem samem pogovornem koraku. Ključna razlika je v agenciji: agentni sistemi delujejo na podlagi ciljev, medtem ko klepetalni roboti reagirajo na pozive.
