Metodat aktor-kritik përziejnë gradientët e politikave me një funksion vlerash të mësuara për të zvogëluar variancën dhe për të përshpejtuar të mësuarit, ndërsa metodat e pastra të gradientit të politikave mbështeten vetëm në kthimet e politikës dhe Monte Karlos. Zgjedhja midis tyre varet nëse keni nevojë për stabilitet dhe efikasitet të mostrës apo thjeshtësi dhe vlerësime të paanshme.
Algoritme hibride të të mësuarit me përforcim që çiftëzojnë një rrjet politikash (aktor) me një rrjet vlerësimi të vlerës (kritik) për një trajnim më të qëndrueshëm.
Algoritmet e të mësuarit përforcues që optimizojnë drejtpërdrejt një politikë të parametrizuar duke përdorur ngjitjen gradient në kthimin e pritur, pa një model vlerash të veçantë.
| Veçori | Metodat e Aktorit-Kritik | Metodat e Gradientit të Politikës së Pastër |
|---|---|---|
| Mekanizmi thelbësor | Kombinon një rrjet politikash (aktor) me një rrjet vlerash (kritik) | Optimizon politikën direkt duke përdorur kthime të mostrave |
| Varianca e Vlerësimeve të Gradientit | Variancë më e ulët për shkak të nivelit bazë të mësuar | Variancë më e lartë nga kthimet e Monte Karlos |
| Paragjykim | Një paragjykim i lehtë i futur nga përafrimi i kritikut | Vlerësime të paanshme të gradientit |
| Efikasiteti i mostrës | Përgjithësisht më i lartë, ripërdor të dhënat përmes bootstrapping | Më i ulët, kërkon episode të plota ose shumë mostra |
| Kompleksiteti i Implementimit | Më kompleks, kërkon trajnimin e dy rrjeteve | Më e thjeshtë, vetëm një rrjet për të menaxhuar |
| Stabiliteti i Trajnimit | Më i qëndrueshëm falë variancës më të ulët dhe rajoneve të besimit | Më pak i qëndrueshëm, i ndjeshëm ndaj shkallës së të mësuarit dhe shkallës së shpërblimit |
| Trajtimi i Eksplorimit | Mund të përfshijë bonuse entropie ose kritika stokastike | Natyrisht stokastik, i lehtë për t’u inkurajuar me eksplorim |
| Rastet tipike të përdorimit | RL në shkallë të gjerë, robotikë, RLHF për modelet gjuhësore | Detyra të thjeshta kontrolli, baza kërkimore, probleme episodike |
Dallimi më i madh praktik midis këtyre dy familjeve varet nga mënyra se si ato vlerësojnë drejtimin e përmirësimit. Metodat e pastra të gradientit të politikave mbështeten në kthimet Monte Karlo të mbledhura nga episodet e plota, të cilat japin një sinjal të paanshëm, por që luhatet në mënyrë të egër në varësi të fatit të çdo lançimi të vetëm. Metodat aktor-kritik e zëvendësojnë atë kthim të zhurmshëm me një funksion vlere të mësuar, duke zbritur në mënyrë efektive një bazë që kap rezultatin e pritur. Rezultati është një gradient me variancë shumë më të ulët që lejon që trajnimi të vazhdojë më mirë, veçanërisht në mjedise ku shpërblimet janë të pakta ose të vonuara.
Shkëmbimi i variancës për paragjykim është kompromisi qendror në dizajnin aktor-kritik. Kritiku është vetë një përafrim, kështu që vlerësimet e tij mund të jenë të gabuara, dhe ky gabim përfshihet në përditësimin e politikës. Metodat e pastra të gradientit të politikës e shmangin këtë plotësisht sepse ato kurrë nuk e përafrojnë funksionin e vlerës, por ato paguajnë për atë pastërti me përditësime më të zhurmshme. Në praktikë, algoritmet moderne aktor-kritik si PPO dhe SAC e menaxhojnë këtë kompromis aq mirë sa paragjykimi i vogël rrallë është problem, prandaj ato dominojnë pikat e referencës.
Efikasiteti i mostrës ka rëndësi të madhe kur bashkëveprimi me mjedisin është i kushtueshëm, siç është në robotikë ose në sistemet e dialogut të botës reale. Metodat aktor-kritik shkëlqejnë këtu sepse kritiku mbështetet në parashikimet e veta, duke i lejuar algoritmit të mësojë nga çdo tranzicion shumë herë. Metodat e pastra të gradientit të politikave në përgjithësi kanë nevojë për të dhëna të freskëta mbi politikën për çdo përditësim, që do të thotë më shumë ndërveprime mjedisore për të njëjtën sasi përmirësimi të politikave. Kjo është një arsye pse algoritmet e stilit REINFORCE janë më të zakonshme në mjediset kërkimore ku simulimi është i lirë.
Nëse dëshironi diçka që krijohet shpejt, metodat e pastra të gradientit të politikave janë tërheqëse. Ju nevojitet vetëm një rrjet politikash, një funksion humbjeje i ndërtuar nga probabilitetet logaritmike të peshuara nga kthimi dhe një mënyrë për të mbledhur trajektore. Metodat aktor-kritik shtojnë barrën e trajnimit të një rrjeti të dytë, duke balancuar shkallën e tij të të mësuarit me atë të aktorit dhe duke u siguruar që kritiku konvergon mjaftueshëm shpejt për të qenë i dobishëm. Ky kompleksitet shtesë shpërblehet në performancë, por ngre nivelin për të sapoardhurit.
Të dyja qasjet i trajtojnë politikat stokastike natyrshëm, por ato inkurajojnë eksplorimin ndryshe. Metodat e pastra të gradientit të politikave marrin eksplorim falas nga entropia e vetë politikës, e cila funksionon mirë në problemet me shpërndarje të qarta të veprimeve. Metodat kritike-aktor shpesh i shtojnë objektivit një bonus të qartë entropie, siç bën në mënyrë të famshme Kritika-Aktori i Butë, për të parandaluar që politika të shembet shumë herët. Kjo i bën variantet kritike-aktor më të forta në detyrat ku agjenti përndryshe mund të ngecej në sjellje jo optimale.
Metodat aktor-kritik janë një familje algoritmesh krejtësisht e ndryshme nga gradientët e politikave.
Metodat aktor-kritik janë në fakt një nëngrup i metodave të gradientit të politikave. Ato llogarisin të njëjtin gradient të politikave, por përdorin një funksion vlere të mësuar për të zvogëluar variancën në vend që të mbështeten në kthimet e papërpunuara.
Metodat e pastra të gradientit të politikave gjithmonë konvergojnë më shpejt sepse janë të paanshme.
Paanshmëria nuk është e barabartë me konvergjencën e shpejtë. Varianca e lartë e vlerësimeve të Monte Karlos shpesh e ngadalëson stërvitjen në mënyrë dramatike, veçanërisht në detyrat me horizont të gjatë ku shpërblimet vonohen.
Metodat aktor-kritik nuk mund të funksionojnë me hapësira veprimi të vazhdueshëm.
Shumë algoritme aktor-kritik, duke përfshirë SAC dhe DDPG, janë projektuar posaçërisht për kontroll të vazhdueshëm dhe performojnë jashtëzakonisht mirë në robotikë dhe simulim të bazuar në fizikë.
Gjithmonë ke nevojë për një kritik për ta bërë mirë të mësuarit përforcues.
Metodat e pastra të gradientit të politikave si REINFORCE dhe TRPO kanë zgjidhur shumë probleme pa një kritik. Kritiku është një mjet për reduktimin e variancave, jo një kërkesë e rreptë.
PPO është një metodë e pastër e gradientit të politikave.
PPO është teknikisht një algoritëm aktor-kritik. Ai përdor një objektiv zëvendësues të prerë në anën e politikave, por mbështetet në një rrjet vlerash për të llogaritur avantazhet dhe për të udhëhequr përditësimet.
Zgjidhni metoda të pastra të gradientit të politikave kur dëshironi një algoritëm të thjeshtë dhe të paanshëm për probleme me horizont të shkurtër ose si një bazë të pastër kërkimore. Përdorni metodat aktor-kritik sa herë që ju intereson efikasiteti i mostrës, stabiliteti i trajnimit ose shkallëzimi në mjedise komplekse si robotika dhe rregullimi i imët i modeleve me gjuhë të madhe.
Agregimi i preferencave kombinon preferenca të shumta individuale në vendime kolektive, ndërsa modelimi i parashikimit individual parashikon sjelljen personale duke përdorur të mësuarit automatik në të dhënat e një përdoruesi të vetëm. Të dyja shërbejnë për qëllime të dallueshme në sistemet e inteligjencës artificiale, nga motorët e rekomandimeve deri te platformat demokratike të votimit.
Ky krahasim arkitektonik vë në kontrast inxhinierinë deterministe të Agjentëve të Bazuar në Rregulla me natyrën adaptive të të dhënave të Agjentëve të Bazuar në Mësim, duke vlerësuar zbatueshmërinë e tyre në botën reale, kufijtë e shkallëzimit dhe performancën në kushte pasigurie.
Ky udhëzues i detajuar shqyrton ndryshimet strukturore dhe operacionale midis agjentëve autonomë dhe sistemeve të automatizimit të skriptuar. Ndërsa mjetet e skriptuara ofrojnë parashikueshmëri të pakrahasueshme për rrjedha pune të ngurta dhe përsëritëse, agjentët inteligjentë modernë shfrytëzojnë arsyetimin kognitiv për të lundruar në mënyrë të pavarur në të dhëna të ndryshueshme, pengesa teknike të papritura dhe peizazhe të dhënash shumë komplekse dhe të pastrukturuara.
Agjentët autonomë të IA-së veprojnë në mënyrë të pavarur duke planifikuar, arsyetuar dhe ekzekutuar detyra shumë-hapëshe me ndërhyrje minimale njerëzore, ndërsa sistemet e IA-së të bazuara në shpejtësi u përgjigjen udhëzimeve individuale të përdoruesit, një ndërveprim në të njëjtën kohë. Dallimi kryesor qëndron në agjenci: agjentët ndjekin qëllimet nëpër seanca, ndërsa sistemet e shpejtësisë presin për drejtim.
Agjentët bisedorë përqendrohen në dialogun natyror dhe ndërveprimet e bazuara në tekst, ndërsa agjentët që përdorin mjete zgjerojnë aftësitë e IA-së duke thirrur funksione dhe API të jashtme. Të dy përfaqësojnë qasje të dallueshme ndaj sistemeve autonome të IA-së, me modelet bisedore që shkëlqejnë në komunikim dhe agjentët që përdorin mjete të specializuar në ekzekutimin e detyrave në botën reale.
