Veikėjų-kritikų metodai sujungia politikos gradientus su išmoktos vertės funkcija, kad sumažintų dispersiją ir pagreitintų mokymąsi, o gryni politikos gradiento metodai remiasi tik politika ir Monte Karlo rezultatais. Pasirinkimas priklauso nuo to, ar jums reikia stabilumo ir imties efektyvumo, ar paprastumo ir nešališkų įverčių.
Hibridiniai sustiprinimo mokymosi algoritmai, kurie susieja politikos tinklą (vykdytoją) su vertės vertinimo tinklu (kritiku), kad mokymas būtų stabilesnis.
Sustiprinimo mokymosi algoritmai, kurie tiesiogiai optimizuoja parametrizuotą politiką, naudodami gradiento kilimą pagal laukiamą grąžą, be atskiro vertės modelio.
| Funkcija | Aktoriaus-kritiko metodai | Grynosios politikos gradiento metodai |
|---|---|---|
| Pagrindinis mechanizmas | Sujungia politikos tinklą (vykdytoją) su vertės tinklu (kritiku) | Optimizuoja politiką tiesiogiai naudodama imties grąžą |
| Gradiento įverčių dispersija | Mažesnis dispersija dėl išmoktos bazinės linijos | Didesnis nukrypimas nuo Monte Karlo grąžos |
| Šališkumas | Kritiko aproksimacijos įvestas nedidelis šališkumas | Nešališki gradiento įvertinimai |
| Imties efektyvumas | Paprastai didesnis, pakartotinai naudoja duomenis per „bootstrapping“ | Žemesnis, reikia pilnų epizodų arba daug pavyzdžių |
| Įgyvendinimo sudėtingumas | Sudėtingesnis, reikalauja dviejų tinklų apmokymo | Paprasčiau, valdyti tik vieną tinklą |
| Mokymo stabilumas | Stabilesnis dėl mažesnio dispersijos ir pasitikėjimo regionų | Mažiau stabilus, jautrus mokymosi greičiui ir atlygio skalei |
| Žvalgymo tvarkymas | Gali apimti entropijos premijas arba stochastinius kritikus | Natūraliai stochastinis, lengvai skatina tyrinėjimą |
| Tipiniai naudojimo atvejai | Didelio masto RL, robotika, RLHF kalbos modeliams | Paprastos kontrolinės užduotys, tyrimo baziniai taškai, epizodinės problemos |
Didžiausias praktinis skirtumas tarp šių dviejų šeimų priklauso nuo to, kaip jos įvertina tobulėjimo kryptį. Grynieji politikos gradiento metodai remiasi Monte Karlo grąža, surinkta iš visų epizodų, o tai duoda nešališką signalą, tačiau labai svyruojantį priklausomai nuo bet kurio vieno diegimo sėkmės. Veikėjų-kritikų metodai pakeičia šią triukšmingą grąžą išmoktos vertės funkcija, efektyviai atimdami bazinę liniją, kuri fiksuoja laukiamą rezultatą. Rezultatas yra daug mažesnio dispersijos gradientas, leidžiantis mokymui vykti sklandžiau, ypač aplinkose, kuriose atlygiai yra menki arba vėluoja.
Prekybos dispersija dėl šališkumo yra pagrindinis kompromisas veikėjo ir kritiko projekte. Kritikas pats savaime yra aproksimacija, todėl jo įverčiai gali būti klaidingi, ir ta klaida atsispindi politikos atnaujinime. Grynieji politikos gradiento metodai to visiškai išvengia, nes jie niekada neapytiksliai nesuderina vertės funkcijos, tačiau už šį grynumą jie moka triukšmingesniais atnaujinimais. Praktiškai šiuolaikiniai veikėjo ir kritiko algoritmai, tokie kaip PPO ir SAC, šį kompromisą valdo taip gerai, kad mažas šališkumas retai kada yra problema, todėl jie dominuoja etalonuose.
Imties efektyvumas yra nepaprastai svarbus, kai sąveika su aplinka yra brangi, pavyzdžiui, robotikoje ar realaus pasaulio dialogo sistemose. Čia puikiai veikia veikėjo-kritiko metodai, nes kritikas remiasi savo paties prognozėmis, leisdamas algoritmui mokytis iš kiekvieno perėjimo kelis kartus. Gryniems politikos gradiento metodams paprastai reikia naujų politikos duomenų kiekvienam atnaujinimui, o tai reiškia daugiau aplinkos sąveikų, siekiant to paties politikos patobulinimo. Tai viena iš priežasčių, kodėl REINFORCE stiliaus algoritmai yra labiau paplitę tyrimų aplinkose, kur modeliavimas yra pigus.
Jei norite greitai sukurti prototipą, patrauklūs yra gryni politikos gradiento metodai. Jums tereikia politikos tinklo, nuostolių funkcijos, sudarytos iš logaritminių tikimybių, įvertintų pagal grąžą, ir būdo rinkti trajektorijas. Veikiančiojo-kritinio tinklo metodai prideda antrojo tinklo mokymo naštą, subalansuojant jo mokymosi greitį su veikėjo mokymosi greičiu ir užtikrinant, kad kritinis tinklas konverguotų pakankamai greitai, kad būtų naudingas. Šis papildomas sudėtingumas atsiperka našumo srityje, tačiau tai pakelia kartelę naujokams.
Abu metodai natūraliai tvarko stochastines politikas, tačiau skirtingai skatina tyrinėjimą. Grynieji politikos gradiento metodai tyrinėjimą gauna nemokamai iš pačios politikos entropijos, kuri gerai veikia problemose su aiškiais veiksmų pasiskirstymais. Veikėjo-kritiko metodai dažnai prideda aiškų entropijos bonusą prie tikslo, kaip tai daro „Soft Actor-Critic“ metodas, kad politika nesugriūtų per anksti. Dėl to veikėjo-kritiko variantai yra atsparesni užduotims, kuriose agentas kitaip galėtų įstrigti neoptimaliame elgesyje.
Veikėjų-kritikų metodai yra visiškai kita algoritmų šeima nei politikos gradientai.
Veikėjų-kritikų metodai iš tikrųjų yra politikos gradiento metodų pogrupis. Jie apskaičiuoja tą patį politikos gradientą, tačiau dispersijai sumažinti naudoja išmoktos vertės funkciją, o ne pasikliauja neapdorota grąža.
Gryni politikos gradiento metodai visada konverguoja greičiau, nes jie yra nešališki.
Nešališkumas nereiškia greito konvergavimo. Didelė Monte Karlo įverčių dispersija dažnai smarkiai sulėtina mokymąsi, ypač ilgalaikėse užduotyse, kuriose atlygis gaunamas vėliau.
Aktoriaus-kritiko metodai negali veikti su ištisinėmis veiksmo erdvėmis.
Daugelis veikėjų-kritikų algoritmų, įskaitant SAC ir DDPG, yra specialiai sukurti nuolatiniam valdymui ir puikiai veikia robotikoje ir fizikos pagrindu sukurtame modeliavime.
Norint gerai atlikti sustiprintą mokymąsi, visada reikia kritiko.
Grynieji politikos gradiento metodai, tokie kaip REINFORCE ir TRPO, išsprendė daugybę problemų be kritikos. Kritika yra dispersijos mažinimo įrankis, o ne griežtas reikalavimas.
PPO yra grynas politikos gradiento metodas.
PPO techniškai yra veikėjo-kritiko algoritmas. Politikos pusėje jis naudoja apribotą pakaitinį tikslą, tačiau pranašumams apskaičiuoti ir atnaujinimams vadovautis vertės tinklu.
Rinkitės grynus politikos gradiento metodus, kai norite paprasto, nešališko algoritmo trumpalaikėms problemoms spręsti arba kaip aiškaus tyrimo pradinio lygio. Naudokite veikėjo-kritiko metodus, kai jums rūpi imties efektyvumas, mokymo stabilumas arba pritaikymas sudėtingose aplinkose, tokiose kaip robotika ir didelių kalbų modelių tikslinimas.
„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.
„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.
„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.
„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.
A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.
