mësim përforcuesmësim i thellëgradientët e politikaveoptimiziminteligjencë artificiale
Stabiliteti i Optimizimit në RL të Thellë kundrejt Jostabilitetit në Gradientët e Politikave Naive
Stabiliteti i optimizimit në të nxënit me përforcim të thellë i referohet teknikave që e mbajnë trajnimin të besueshëm dhe të riprodhueshëm, ndërsa gradientët e politikave naive shpesh vuajnë nga varianca dhe divergjenca të larta. Të kuptuarit e të dyjave i ndihmon praktikuesit të ndërtojnë agjentë që mësojnë në mënyrë efikase pa u shembur në mes të trajnimit.
Theksa
Metodat e rajonit të besimit dhe të prerjes i shndërrojnë përditësimet e paqëndrueshme të politikave në të besueshme.
Gradientët naivë të politikave vuajnë nga varianca që shkallëzohet me gjatësinë e episodit dhe dimensionin e veprimit.
Optimizimi i qëndrueshëm zakonisht përmirëson efikasitetin e mostrës nga 3 deri në 10 herë në testet e zakonshme të referencës.
Riprodhueshmëria nëpër fara të rastësishme është dukshëm më e mirë me metodat moderne të qëndrueshme.
Çfarë është Stabiliteti i Optimizimit në RL të Thellë?
Një sërë metodash dhe zgjedhjesh dizajni që e mbajnë trajnimin e të mësuarit me përforcim të thellë të sjellshëm dhe të riprodhueshëm.
Metodat e rajonit të besimit si TRPO dhe PPO kufizojnë se sa mund të përditësohet një politikë për hap, duke parandaluar ndryshimet shkatërruese të politikave.
Normalizimi i serisë, normalizimi i shtresave dhe rrjetet e synuara ndihmojnë në stabilizimin e të mësuarit të funksionit të vlerës në horizonte të gjata.
Prerja e gradientit dhe caktimi i shkallës së të mësuarit zvogëlojnë mundësinë e shpërthimit të gradientëve në rrjetet e thella të vlerave dhe politikave.
Formësimi i kujdesshëm i shpërblimit dhe normalizimi i avantazhit ulin variancën në vlerësimet e gradientit të politikave gjatë trajnimit.
Studimet empirike tregojnë se optimizimi i qëndrueshëm mund të ulë numrin e hapave të mjedisit të nevojshëm për të arritur një shpërblim të synuar nga 3 deri në 10 herë.
Çfarë është Paqëndrueshmëria në Gradientët e Politikave Naive?
Mënyra e dështimit e dokumentuar mirë e algoritmeve të stilit vanilla REINFORCE kur aplikohet në politika nervore me dimensione të larta.
Gradientët e politikës vanilje shkallëzohen dobët me horizontin sepse varianca e vlerësuesit të kthimit rritet afërsisht linearisht me gjatësinë e episodit.
Implementimet naive shpesh ndryshojnë kur shkalla e të mësuarit është shumë e lartë, duke bërë që shpërndarja e politikave të shembet në veprime deterministe, por jo optimale.
Pa një vijë bazë, vlerësimet e gradientit mund të dominohen nga publikime të rralla me fat ose pa fat, duke çuar në përditësime të zhurmshme dhe të paqëndrueshme.
Hapësirat e veprimit me dimensione të larta e amplifikojnë paqëndrueshmërinë sepse ndryshimet e vogla të parametrave mund të ndryshojnë në mënyrë dramatike probabilitetet e veprimit.
Studiuesit kanë vërejtur se gradientët naivë të politikave mund të mos arrijnë të përmirësohen fare në detyra të tilla si lëvizja e simuluar, edhe pas miliona mostrave.
Tabela Krahasuese
Veçori
Stabiliteti i Optimizimit në RL të Thellë
Paqëndrueshmëria në Gradientët e Politikave Naive
Ideja kryesore
Kufizoni dhe rregulloni përditësimet në mënyrë që trajnimi i thellë RL të mbetet i qëndrueshëm.
Zbatoni ngjitjen e gradientit të papërpunuar në kthimin e pritur pa masa mbrojtëse
Varianca e Gradientit
I reduktuar përmes vijave bazë, normalizimit dhe rajoneve të besimit
lartë dhe rritet me gjatësinë e episodit dhe dimensionin e aksionit
Efikasiteti i mostrës
Përgjithësisht shumë më të larta për shkak të objektivave jashtë politikës ose të shkurtuara
I ulët; shpesh duhen miliona episode për të bërë përparim domethënës
Ndjeshmëria ndaj Hiperparametrave
I moderuar; metoda si PPO janë të famshme për falësen
Shumë e lartë; ndryshimet e vogla të shkallës së të nxënit mund ta prishin tërësisht trajnimin
Algoritmet e zakonshme
PPO, TRPO, SAC, TD3 dhe metoda të tjera moderne të aktorit-kritikut
REINFORCE, aktor-kritik i thjeshtë dhe zbatime themelore të gradientit të politikave
Modaliteti tipik i dështimit
Rrafshnalta të herëpashershme ose kolaps i entropisë nëse rregullarizimi është shumë i dobët
Divergjencë në politika, hakim shpërblimesh ose dështim i plotë për të mësuar
Përdorimi i bazave dhe kritikëve
Praktikë standarde; rrjetet e vlerave ose bazat e mësuara janë qendrore
Shpesh lihet jashtë, gjë që rrit variancën e vlerësimit të gradientit
Riprodhueshmëria
Përmirësuar përmes mbjelljes, normalizimit dhe përditësimeve të kufizuara
I dobët; fara të ndryshme mund të prodhojnë kthesa të të nxënit jashtëzakonisht të ndryshme
Përshkrim i Detajuar i Krahasimit
Varianca dhe Cilësia e Gradientit
Gradientët e politikave naive vlerësojnë kthimin e pritur duke marrë mostra nga trajektore të plota dhe duke shumëzuar probabilitetet logaritmike me kthime të papërpunuara. Meqenëse kthimet janë shuma të zhurmshme shpërblimesh, vlerësimi i gradientit që rezulton ka variancë të lartë që rritet me horizontin kohor. Metodat e optimizimit të qëndrueshëm e sulmojnë këtë drejtpërdrejt duke zbritur një vlerë bazë të mësuar, duke normalizuar avantazhet në një grup dhe duke shkurtuar ose kufizuar madhësinë e çdo përditësimi.
Sjellja e Përditësimit të Politikës
Në një konfigurim naiv, një hap i vetëm i madh gradienti mund ta shtyjë politikën larg shpërndarjes së të dhënave, duke i bërë shpërndarjet e ardhshme jo përfaqësuese dhe duke thyer supozimet e teoremës së gradientit të politikës. Metodat e qëndrueshme si TRPO zbatojnë një limit të divergjencës KL midis politikës së vjetër dhe të re, ndërsa PPO përdor një objektiv zëvendësues të prerë që dekurajon përditësimet tepër agresive. Të dyja e mbajnë politikën afër vendit ku është testuar në të vërtetë.
Efikasiteti i Shembullit dhe Kostoja e Orës së Murit
Meqenëse gradientët naivë të politikave shpërdorojnë mostra në përditësime me variancë të lartë, ato shpesh kanë nevojë për shumë më tepër ndërveprime mjedisore për të arritur të njëjtën performancë. Metodat e qëndrueshme i ripërdorin të dhënat në mënyrë më efektive përmes marrjes së mostrave të rëndësisë, buferëve të riprodhimit ose rajoneve të besimit, gjë që përkthehet në trajnim më të shpejtë të orës së murit në detyra të botës reale si manipulimi robotik, ku mbledhja e të dhënave është e kushtueshme.
Ndjeshmëria e Hiperparametrave
Gradientët e politikave vanilje janë të njohur për brishtësinë e tyre: shkalla e gabuar e të nxënit, faktori i zbritjes ose shkalla e shpërblimit mund të shkaktojë që trajnimi të bjerë në heshtje. Kornizat e optimizimit të qëndrueshëm prezantojnë hiperparametra që janë më të lehtë për t'u arsyetuar, siç është një epsilon i prerjes ose KL i synuar, dhe kanë tendencë të jenë më tolerantë në të gjitha farërat. Kjo qëndrueshmëri është një arsye pse PPO u bë algoritmi parazgjedhur në shumë projekte të aplikuara RL.
Besueshmëria praktike
Kur studiuesit raportojnë rezultate, metodat e qëndrueshme prodhojnë intervale besimi më të ngushta nëpër farëra të rastësishme, duke e bërë më të lehtë dallimin e një përmirësimi të vërtetë nga zhurma. Gradientët e politikave naive, në të kundërt, mund të tregojnë se një farë zgjidh një detyrë ndërsa një tjetër dështon plotësisht, gjë që e bën krahasimin jo të besueshëm. Për sistemet e prodhimit, ky hendek riprodhueshmërie shpesh ka më shumë rëndësi sesa performanca maksimale.
Përparësi dhe Disavantazhe
Stabiliteti i Optimizimit në RL të Thellë
Përparësi
+Përditësime me variancë më të ulët
+Efikasitet më i mirë i mostrës
+Riprodhueshëm nëpër fara
+Hiperparametrat që falin
Disavantazhe
−Më komplekse për t’u zbatuar
−Kompjuter shtesë për kritikët
−Mund të kufizojë eksplorimin
−Akordimi ende i nevojshëm
Paqëndrueshmëria në Gradientët e Politikave Naive
Përparësi
+E thjeshtë për t’u zbatuar
+E lehtë për t’u mësuar dhe debuguar
+Pak pjesë lëvizëse
+Punon me detyra të shkurtra
Disavantazhe
−Variancë e lartë e gradientit
−Efikasitet i dobët i mostrës
−I ndjeshëm ndaj hiperparametrave
−Shpesh ndryshon në mes të stërvitjes
Idenë të gabuara të zakonshme
Miti
Gradientët naivë të politikave janë të paanshëm, kështu që ato duhet të konvergojnë po aq mirë sa metodat e qëndrueshme duke pasur parasysh mostrat e mjaftueshme.
Realiteti
Paanshmëria vlen vetëm kur shpërndarja e politikave nuk ndryshon shumë shpejt midis përditësimeve. Në praktikë, zhvendosjet e mëdha të parametrave e thyejnë supozimin e politikës në vend dhe gradientët që rezultojnë nuk pasqyrojnë më objektivin e vërtetë, prandaj metodat naive shpesh ngecin ose ndryshojnë shumë kohë përpara se të konvergojnë.
Miti
Shtimi i një vije bazë në REINFORCE rregullon plotësisht paqëndrueshmërinë e saj.
Realiteti
Një vlerë bazë zvogëlon variancën, por nuk adreson çështjen thelbësore të ndryshimeve të mëdha të politikave për përditësim. Pa rajone besimi, shkurtim ose normalizim të avantazhit, politika mund të lëvizë mjaftueshëm larg në një hap të vetëm për të pavlefshëm mostrat e ardhshme.
Miti
Metodat e optimizimit të qëndrueshëm si PPO gjejnë gjithmonë politikën më të mirë të mundshme.
Realiteti
Stabiliteti ka të bëjë me besueshmërinë, jo me optimalitetin. PPO dhe TRPO mund të ngecin ende në optimumet lokale ose të mos eksplorojnë sa duhet, veçanërisht në mjedise me shpërblime të pakta ku nevojiten edhe bonuse eksplorimi ose të mësuarit e kurrikulës.
Miti
Nëse një gradient politikash naiv funksionon në CartPole, ai do të shkallëzohet në detyra më komplekse.
Realiteti
CartPole ka një hapësirë të vogël gjendjesh, episode të shkurtra dhe një grup të vogël veprimesh, i cili maskon problemet e variancës dhe eksplorimit që dominojnë detyrat më të vështira. Shkallëzimi në lëvizje, manipulim ose lojëra zakonisht kërkon teknikat e stabilizimit që u mungojnë gradientëve naivë.
Miti
Paqëndrueshmëria e thellë e RL është kryesisht një problem hardueri ose precizioni numerik.
Realiteti
Gabimet me pikë lundruese kanë rëndësi, por burimi mbizotërues i paqëndrueshmërisë është algoritmik: gradiente me variancë të lartë, të dhëna jashtë politikës dhe përditësime të pakufizuara. Shumica e trukeve të stabilitetit synojnë këto shkaqe algoritmike në vend të atyre numerike.
Pyetjet më të Përshkruara
Pse gradientët naivë të politikave janë të paqëndrueshëm në RL të thellë?
Gradientët e politikave vanilje vlerësojnë gradientin e kthimit të pritur duke përdorur trajektore të marra si mostra, dhe varianca e atij vlerësimi rritet me gjatësinë e episodit dhe dimensionalitetin e veprimit. Pa kufizime, një përditësim i vetëm mund ta zhvendosë politikën larg shpërndarjes së të dhënave, duke thyer supozimet që fshihen pas teoremës së gradientit të politikës dhe duke shkaktuar divergjencë ose kolaps.
Cila është mënyra më e thjeshtë për të stabilizuar trajnimin e gradientit të politikave?
Filloni duke shtuar një vijë bazë të funksionit të vlerës dhe duke normalizuar avantazhet brenda secilës grup. Pastaj shkurtoni gradientët, përdorni një shkallë të moderuar të të nxënit dhe merrni në konsideratë kalimin në PPO, i cili shton një objektiv zëvendësues të shkurtuar që parandalon përditësime shkatërruese të mëdha, ndërkohë që mbetet i lehtë për t'u zbatuar.
Si ndryshon PPO nga një gradient politikash naive?
PPO mban të njëjtën strukturë aktor-kritik, por zëvendëson objektivin zëvendësues të papërpunuar me një version të shkurtuar që kufizon se sa mund të ndryshojë politika e re nga ajo e vjetra në hapësirën e probabilitetit. Ky ndryshim i vetëm zvogëlon në mënyrë dramatike variancën dhe e bën trajnimin shumë më të qëndrueshëm ndaj zgjedhjeve të shkallës së të nxënit.
A garanton TRPO përmirësimin e politikave monotonike?
TRPO ofron një garanci teorike të përmirësimit monotonik nën supozime të caktuara, duke përfshirë vlerësimin e saktë të KL dhe llogaritjen e saktë të gradientit. Në praktikë, përafrimet dhe gabimet e përafrimit të funksionit nënkuptojnë se TRPO në botën reale zakonisht po përmirësohet dhe jo vetëm monotonik, por është ende shumë më i qëndrueshëm sesa përditësimet naive.
A mund të kombinohen gradientët naivë të politikave me buferat e riprodhimit?
Teknikisht po, por duke vepruar kështu, thyhet supozimi mbi politikën në të cilin mbështetet teorema e gradientit të politikës. Kërkohen korrigjime jashtë politikës, si marrja e mostrave të rëndësisë, dhe pa to gradientët bëhen të paragjykuar dhe trajnimi shpesh bëhet i paqëndrueshëm, prandaj metodat aktor-kritik me riprodhim, të tilla si SAC dhe TD3, përfshijnë korrigjime të qarta.
Sa e rëndësishme është shkallëzimi i shpërblimit për stabilitetin?
Shkallëzimi i shpërblimeve është çuditërisht i rëndësishëm. Nëse shpërblimet janë shumë të mëdha, gradientët shpërthejnë; nëse janë të vogla, ngecjet në të nxënë. Tubacionet e optimizimit të qëndrueshëm zakonisht normalizojnë ose shkurtojnë shpërblimet, dhe shumë implementime gjithashtu normalizojnë objektivat e vlerës në mënyrë që rezultatet e kritikut të qëndrojnë në një gamë të arsyeshme.
A është paqëndrueshmëria e gradienteve të politikave naive më e keqe në hapësirat e veprimit të vazhdueshëm?
Po. Veprimet e vazhdueshme zakonisht përdorin politika Gaussiane, varianca e të cilave është vetë një parametër i mësuar, kështu që një përditësim i keq mund ta ulë zhurmën e eksplorimit në gati zero. Kjo e bën agjentin determinist dhe të paaftë për t'u rikuperuar, që është një nga mënyrat më të zakonshme të dështimit që njerëzit shohin kur aplikojnë gradiente të politikave vanilje në kontrollin e vazhdueshëm.
A e eliminojnë metodat e qëndrueshme nevojën për akordimin e hiperparametrave?
Asnjë metodë nuk e heq plotësisht rregullimin, por metodat e qëndrueshme si PPO janë të njohura për tolerancën dhe shpesh funksionojnë me cilësimet fillestare në shumë detyra. Gradientët e politikave naive, në të kundërt, zakonisht kërkojnë rregullim të kujdesshëm të shkallës së të mësuarit, faktorit të zbritjes dhe nivelit bazë për çdo mjedis të ri.
Pse studiuesit ende studiojnë gradientet naive të politikave?
Gradientët naivë të politikave janë shprehja më e pastër e teoremës së gradientit të politikave, gjë që i bën ato ideale për mësimdhënie, analiza teorike dhe studime të ablacionit. Ato shërbejnë gjithashtu si një bazë kundrejt së cilës krahasohen algoritmet më të sofistikuara.
Si ndihmon rregullimi i entropisë me stabilitetin?
Shtimi i një bonusi entropie në objektiv e inkurajon politikën të ruajë njëfarë rastësie në veprimet e saj, gjë që parandalon konvergjencën e parakohshme drejt sjelljes deterministe, por jo optimale. Ky eksplorim shtesë gjithashtu zbut peizazhin e humbjeve, duke i bërë përditësimet e gradientit më pak të mundshme ta shtyjnë politikën në një rajon të keq.
Verdikt
Zgjidhni teknikat e stabilitetit të optimizimit sa herë që trajnoni politika të thella në detyra komplekse, veçanërisht kur efikasiteti dhe riprodhueshmëria e mostrës kanë rëndësi. Gradientët naivë të politikave mbeten të dobishëm si një mjet mësimdhënieje dhe për probleme të thjeshta me horizont të shkurtër, ku ndryshimi i tyre është i menaxhueshëm, por ato rrallë janë zgjedhja e duhur për aplikacione serioze të thella RL.
