învățare prin consolidareînvățare profundăgradienți de politicăoptimizareinteligenţă artificială
Stabilitatea optimizării în RL profund vs. instabilitatea în gradienții de politici naive
Stabilitatea optimizării în învățarea prin armare profundă se referă la tehnici care mențin antrenamentul fiabil și reproductibil, în timp ce gradienții de politici naivi suferă adesea de varianță și divergență ridicate. Înțelegerea ambelor îi ajută pe practicieni să construiască agenți care învață eficient fără a se prăbuși în mijlocul antrenamentului.
Evidențiate
Regiunea de încredere și metodele de decupare transformă actualizările instabile ale politicilor în actualizări fiabile.
Gradienții politicilor naivi suferă de o varianță care se scalează odată cu durata episodului și dimensionalitatea acțiunii.
Optimizarea stabilă îmbunătățește de obicei eficiența eșantionului de 3 până la 10 ori pe teste de referință comune.
Reproductibilitatea între semințe aleatorii este mult mai bună cu metodele moderne stabile.
Ce este Stabilitatea optimizării în Deep RL?
Un set de metode și opțiuni de proiectare care mențin antrenamentul prin învățare prin consolidare profundă eficient și reproductibil.
Metodele de regiune de încredere, precum TRPO și PPO, restricționează cât de mult se poate actualiza o politică per pas, prevenind modificările distructive ale politicilor.
Normalizarea în loturi, normalizarea pe straturi și rețelele țintă ajută la stabilizarea învățării funcțiilor valorice pe orizonturi lungi.
Decuparea gradienților și planificarea ratei de învățare reduc șansa exploziei gradienților în rețelele profunde de valori și politici.
Modelarea atentă a recompenselor și normalizarea avantajelor reduc varianța estimărilor gradientului de politici în timpul antrenamentului.
Studiile empirice arată că optimizarea stabilă poate reduce numărul de pași de mediu necesari pentru a atinge o recompensă țintă de 3 până la 10 ori.
Ce este Instabilitate în gradienții politicilor naive?
Modul de eșec bine documentat al algoritmilor de tip REINFORCE standard atunci când sunt aplicați politicilor neuronale de înaltă dimensionalitate.
Gradienții politicilor vanilla se scalează slab odată cu orizontul, deoarece varianța estimatorului de randament crește aproximativ liniar odată cu durata episodului.
Implementările naive diverg adesea atunci când rata de învățare este prea mare, determinând colapsul distribuției politicilor către acțiuni deterministe, dar suboptimale.
Fără o bază de referință, estimările gradientului pot fi dominate de implementări rare, norocoase sau ghinioniste, ceea ce duce la actualizări zgomotoase și inconsistente.
Spațiile de acțiune de înaltă dimensionalitate amplifică instabilitatea deoarece modificările mici ale parametrilor pot influența dramatic probabilitățile de acțiune.
Cercetătorii au observat că gradienții de politici naivi pot să nu se îmbunătățească deloc în sarcini precum locomoția simulată, chiar și după milioane de eșantioane.
Tabel comparativ
Funcție
Stabilitatea optimizării în Deep RL
Instabilitate în gradienții politicilor naive
Ideea centrală
Constrângeți și regularizați actualizările astfel încât antrenamentul RL profund să rămână stabil
Aplicați ascensiunea în gradient brut la întoarcerea așteptată fără măsuri de siguranță
Varianța gradientului
Redus prin linii de bază, normalizare și regiuni de încredere
Ridicat și crește odată cu lungimea episodului și dimensionalitatea acțiunii
Eficiența eșantionului
În general, mult mai mari din cauza obiectivelor neconforme politicii sau a celor trunchiate
Scăzut; adesea are nevoie de milioane de episoade pentru a face progrese semnificative
Sensibilitate la hiperparametri
Moderat; metode precum PPO sunt renumite pentru iertarea lor
Foarte ridicat; micile modificări ale ratei de învățare pot întrerupe complet antrenamentul
Algoritmi comuni
PPO, TRPO, SAC, TD3 și alte metode moderne de actor-critic
REINFORCE, implementări actor-critic standard și implementări de gradient de politici de bază
Mod tipic de defecțiune
Platouri ocazionale sau colaps al entropiei dacă regularizarea este prea slabă
Divergență de politici, recompensă pentru hacking sau eșec total de învățare
Utilizarea liniilor de bază și a criticilor
Practică standard; rețelele de valori sau liniile de bază învățate sunt esențiale
Adesea omis, ceea ce umflă varianța estimării gradientului
Reproductibilitate
Îmbunătățit prin seeding, normalizare și actualizări restricționate
Slab; semințe diferite pot produce curbe de învățare extrem de diferite
Comparație detaliată
Varianță și calitate a gradientului
Gradienții de politici naive estimează randamentul așteptat prin eșantionarea traiectoriilor complete și înmulțirea probabilităților logaritmice cu randamentele brute. Deoarece randamentele sunt sume zgomotoase de recompense, estimarea gradientului rezultat are o varianță mare care crește odată cu orizontul de timp. Metodele de optimizare stabile atacă direct acest lucru prin scăderea unei valori de referință învățate, normalizarea avantajelor pe un lot și tăierea sau constrângerea magnitudinii fiecărei actualizări.
Comportamentul actualizării politicii
Într-o configurație naivă, un singur pas mare de gradient poate împinge politica departe de distribuția datelor, făcând implementările viitoare nereprezentative și încălcând ipotezele teoremei gradientului politicii. Metodele stabile precum TRPO impun o limită de divergență KL între politica veche și cea nouă, în timp ce PPO utilizează un obiectiv surogat tăiat care descurajează actualizările excesiv de agresive. Ambele mențin politica aproape de locul în care a fost testată efectiv.
Eficiența eșantionului și costul ceasului de perete
Deoarece gradienții de politici naivi irosesc eșantioane cu actualizări cu varianță ridicată, aceștia au nevoie adesea de ordine de mărime mai multe interacțiuni cu mediul pentru a atinge aceeași performanță. Metodele stabile reutilizează datele mai eficient prin eșantionarea importanței, bufferele de redare sau regiunile de încredere, ceea ce se traduce într-un antrenament mai rapid, de tip „wall-clock”, pentru sarcini din lumea reală, cum ar fi manipularea robotică, unde colectarea datelor este costisitoare.
Sensibilitatea hiperparametrului
Gradienții de politici vanilla sunt notoriu de fragili: o rată de învățare greșită, un factor de reducere sau o scală de recompensă greșită pot cauza prăbușirea silențioasă a antrenamentului. Cadrele de optimizare stabile introduc hiperparametri mai ușor de utilizat, cum ar fi un epsilon de clipping sau un KL țintă, și tind să fie mai toleranți între seed-uri. Această robustețe este unul dintre motivele pentru care PPO a devenit algoritmul implicit în multe proiecte de învățare aplicată.
Fiabilitate practică
Atunci când cercetătorii raportează rezultatele, metodele stabile produc intervale de încredere mai strânse între valorile inițiale aleatorii, ceea ce face mai ușoară diferențierea unei îmbunătățiri reale față de zgomot. Prin contrast, gradienții politicilor naive pot arăta că o valoare inițială rezolvă o sarcină, în timp ce alta eșuează complet, ceea ce face ca benchmarking-ul să fie nesigur. Pentru sistemele de producție, această diferență de reproductibilitate contează adesea mai mult decât performanța maximă.
Avantaje și dezavantaje
Stabilitatea optimizării în Deep RL
Avantaje
+Actualizări de varianță mai mici
+Eficiență mai bună a eșantionării
+Reproductibil între semințe
+Hiperparametri iertători
Conectare
−Mai complex de implementat
−Calcul suplimentar pentru critici
−Poate limita explorarea
−Reglarea este încă necesară
Instabilitate în gradienții politicilor naive
Avantaje
+Simplu de implementat
+Ușor de învățat și de depanat
+Puține piese mobile
+Lucrează la sarcini scurte
Conectare
−Varianță mare a gradientului
−Eficiență slabă a eșantionului
−Sensibil la hiperparametri
−Adesea deviază la mijlocul antrenamentului
Idei preconcepute comune
Mit
Gradienții politicilor naivi sunt imparțiali, deci ar trebui să convergă la fel de bine ca metodele stabile, având în vedere suficiente eșantioane.
Realitate
Imparțialitatea este valabilă doar atunci când distribuția politicilor nu se modifică prea repede între actualizări. În practică, schimbările mari ale parametrilor încalcă ipoteza de respectare a politicilor, iar gradienții rezultați nu mai reflectă adevăratul obiectiv, motiv pentru care metodele naive se blochează sau diverg cu mult înainte de a converge.
Mit
Adăugarea unei linii de bază la REINFORCE îi rezolvă complet instabilitatea.
Realitate
valoare de referință reduce varianța, dar nu abordează problema centrală a schimbărilor mari de politici per actualizare. Fără regiuni de încredere, decupare sau normalizare a avantajelor, politica poate avansa suficient de mult într-un singur pas pentru a invalida eșantioanele viitoare.
Mit
Metodele de optimizare stabile, precum PPO, găsesc întotdeauna cea mai bună politică posibilă.
Realitate
Stabilitatea se referă la fiabilitate, nu la optimalitate. PPO și TRPO pot rămâne blocate în optimale locale sau pot fi subexplorate, în special în medii cu recompense reduse, unde sunt necesare și bonusuri de explorare sau învățare din curriculum.
Mit
Dacă un gradient de politici naiv funcționează pe CartPole, acesta se va scala la sarcini mai complexe.
Realitate
CartPole are un spațiu de stări minuscul, episoade scurte și un set mic de acțiuni, care maschează problemele de varianță și explorare care domină sarcinile mai dificile. Scalarea la locomoție, manipulare sau jocuri necesită de obicei chiar acele tehnici de stabilizare pe care gradienții naivi le lipsesc.
Mit
Instabilitatea RL profundă este în mare parte o problemă hardware sau de precizie numerică.
Realitate
Erorile în virgulă mobilă contează, dar sursa dominantă de instabilitate este algoritmică: gradienți de varianță ridicată, date în afara politicilor și actualizări fără restricții. Majoritatea trucurilor de stabilitate vizează aceste cauze algoritmice mai degrabă decât pe cele numerice.
Întrebări frecvente
De ce sunt gradienții de politici naive instabili în RL profund?
Gradienții de politici vanilla estimează gradientul randamentului așteptat folosind traiectorii eșantionate, iar varianța acestei estimări crește odată cu durata episodului și dimensionalitatea acțiunii. Fără constrângeri, o singură actualizare poate deplasa politica departe de distribuția datelor, încălcând ipotezele din spatele teoremei gradientului de politici și provocând divergență sau colaps.
Care este cea mai simplă modalitate de a stabiliza antrenamentul gradientului de politici?
Începeți prin a adăuga o bază pentru funcțiile valorice și a normaliza avantajele în fiecare lot. Apoi, decupați gradienții, utilizați o rată de învățare moderată și luați în considerare trecerea la PPO, care adaugă un obiectiv surogat decupat care previne actualizările distructiv de mari, rămânând în același timp ușor de implementat.
Cum diferă PPO de un gradient de politici naiv?
PPO păstrează aceeași structură actor-critic, dar înlocuiește obiectivul surogat brut cu o versiune scurtată care limitează cât de mult noua politică poate diverge de cea veche în spațiul probabilității. Această singură modificare reduce dramatic varianța și face antrenamentul mult mai robust la alegerile privind rata de învățare.
Garantează TRPO o îmbunătățire monotonă a politicii?
TRPO oferă o garanție teoretică a îmbunătățirii monotone sub anumite ipoteze, inclusiv estimarea precisă a KL și calculul exact al gradientului. În practică, aproximările și erorile de aproximare a funcțiilor înseamnă că TRPO din lumea reală se îmbunătățește de obicei, mai degrabă decât este strict monoton, dar este totuși mult mai stabil decât actualizările naive.
Poți combina gradienți de politici naive cu buffere de reluare?
Tehnic, da, dar acest lucru încalcă presupunerea privind politica pe care se bazează teorema gradientului de politică. Sunt necesare corecții în afara politicii, cum ar fi eșantionarea importanței, iar fără ele gradienții devin părtinitori, iar antrenamentul devine adesea instabil, motiv pentru care metodele actor-critic cu reluare, cum ar fi SAC și TD3, includ corecții explicite.
Cât de importantă este scalarea recompenselor pentru stabilitate?
Scalarea recompenselor este surprinzător de importantă. Dacă recompensele sunt foarte mari, gradienții explodează; dacă sunt mici, învățarea se blochează. Conductele de optimizare stabile normalizează sau scurtează de obicei recompensele, iar multe implementări normalizează, de asemenea, valorile țintă astfel încât rezultatele criticului să rămână într-un interval rezonabil.
Este instabilitatea gradienților politici naivi mai gravă în spațiile de acțiune continuă?
Da. Acțiunile continue utilizează de obicei politici gaussiene a căror varianță este ea însăși un parametru învățat, astfel încât o actualizare greșită poate reduce zgomotul de explorare aproape de zero. Acest lucru face ca agentul să fie determinist și incapabil să se recupereze, acesta fiind unul dintre cele mai frecvente moduri de eșec pe care oamenii le observă atunci când aplică gradienți de politici standard controlului continuu.
Nicio metodă nu elimină complet ajustarea, dar metodele stabile precum PPO sunt cunoscute pentru toleranța acordată și funcționează adesea cu setări implicite în multe sarcini. Prin contrast, gradienții de politici naivi necesită de obicei o ajustare atentă a ratei de învățare, a factorului de actualizare și a nivelului de referință pentru fiecare mediu nou.
De ce studiază cercetătorii în continuare gradienții politici naivi?
Gradienții de politici publice simpli sunt cea mai clară expresie a teoremei gradientului de politici publice, ceea ce îi face ideali pentru predare, analiză teoretică și studii de ablație. De asemenea, servesc drept punct de referință față de care sunt evaluați algoritmi mai sofisticați.
Cum ajută regularizarea entropiei la stabilitate?
Adăugarea unui bonus de entropie la obiectiv încurajează politica să păstreze o anumită aleatorietate în acțiunile sale, ceea ce previne convergența prematură către un comportament determinist, dar suboptimal. Această explorare suplimentară netezește, de asemenea, peisajul pierderilor, făcând ca actualizările de gradient să fie mai puțin susceptibile de a împinge politica într-o regiune negativă.
Verdict
Alegeți tehnici de stabilitate a optimizării ori de câte ori antrenați politici profunde pentru sarcini complexe, în special atunci când eficiența și reproductibilitatea eșantionului contează. Gradienții de politici naivi rămân utili ca instrument didactic și pentru probleme simple, cu orizont scurt, unde varianța lor este gestionabilă, dar sunt rareori alegerea potrivită pentru aplicații serioase de RL profund.
