Orezávanie politík v PPO obmedzuje, ako veľmi sa nová politika môže počas každej aktualizácie odchyľovať od starej, čím sa udržiava stabilita trénovania. Neobmedzené aktualizácie politík umožňujú novej politike voľne sa meniť, čo môže urýchliť učenie, ale v zložitých prostrediach často vedie k nestabilite alebo kolapsu.
Technika v optimalizácii proximálnej politiky, ktorá obmedzuje, koľko sa politika môže zmeniť v jednom kroku aktualizácie.
Prístup, kde sa parametre politiky môžu počas jednej iterácie tréningu zmeniť o ľubovoľnú hodnotu bez explicitných obmedzení.
| Funkcia | Výstrižky politík v PPO | Neobmedzené aktualizácie pravidiel |
|---|---|---|
| Aktualizovať obmedzenie | Orezané na pomer 0,1–0,2 | Žiadne explicitné obmedzenie |
| Stabilita tréningu | Vo všeobecnosti stabilný naprieč iteráciami | Náchylné na oscilácie a kolaps |
| Účinnosť vzorky | Vysoká, opätovne používa zozbierané trajektórie | Premenlivá, často vyžaduje čerstvé údaje |
| Zložitosť implementácie | Stredný, jeden zastrihnutý objektív | Jednoduchý, štandardný gradientný výstup |
| Citlivosť hyperparametrov | Nižší rozsah orezávania je zhovievavý | Vyššia miera učenia je kritická |
| Riziko kolapsu politiky | Nízka kvôli obmedzeniu blízkosti | Vysoká bez vonkajších ochranných opatrení |
| Bežné prípady použitia | Robotika, herná umelá inteligencia, RLHF, kontinuálne riadenie | Jednoduché úlohy s hračkami, teoretická analýza |
| Pôvod | OpenAI, dokument PPO z roku 2017 | Raná literatúra o politickom gradiente, 90. – 2000. roky |
Orezávanie politík v PPO funguje tak, že sa vypočíta pomer medzi pravdepodobnosťami nových a starých akcií a potom sa tento pomer oreže tak, aby zostal v úzkom pásme (zvyčajne 0,8 až 1,2). Keď sa pomer pokúsi posunúť mimo toto pásmo, signál gradientu sa vynuluje, čím sa optimalizátoru efektívne povie: „Netlač ďalej týmto smerom.“ Neobmedzené aktualizácie túto ochranu úplne vynechajú a umožňujú optimalizátoru presunúť parametre politík kamkoľvek ukazuje gradient, bez ohľadu na to, aký dramatický je posun.
Prístup s orezaním si získal povesť spoľahlivosti, pretože zabraňuje katastrofickému zabúdaniu, ktoré trápi neohraničené metódy. Keď sa nájde dobrá politika, orezanie zabráni jej zničeniu príliš sebavedomou aktualizáciou. Neohraničené aktualizácie môžu občas nájsť prelomové riešenia rýchlejšie, ale majú tiež zvyk zahodiť týždne pokroku v jednom zlom kroku, a preto sa im väčšina produkčných systémov vyhýba.
Orezávanie v PPO umožňuje viacero epoch optimalizácie na tej istej dávke zozbieraných skúseností, čím sa dramaticky zlepšuje efektivita vzorkovania. Keďže sa politika nemôže príliš odchýliť, údaje zostávajú relevantné v niekoľkých krokoch gradientu. Neobmedzené aktualizácie zvyčajne vyžadujú nové vzorky pri každej iterácii, pretože politika sa mohla zmeniť natoľko, že staré trajektórie už neodrážajú aktuálne správanie, čím sa plytvajú výpočtové a environmentálne zdroje.
Orezávanie robí PPO pozoruhodne zhovievavým k hyperparametrom. Rozsah orezávania 0,2 funguje dobre v obrovskom rozsahu úloh bez väčšieho ladenia. Neobmedzené aktualizácie žijú a umierajú podľa rýchlosti učenia: príliš malé a učenie sa prechádza, príliš veľké a politika sa odchyľuje. Táto citlivosť robí neohraničené metódy frustrujúcimi pre odborníkov, ktorí nemajú čas na rozsiahle prehľadávanie.
Prejdite si akúkoľvek modernú kódovú základňu RL a zistíte, že PPO dominuje krajine, od vlastnej práce OpenAI až po robotické laboratóriá a dolaďovacie kanály jazykových modelov, ako je RLHF. Neobmedzené aktualizácie politík zostávajú väčšinou v učebniciach a teoretických diskusiách, občas sa objavujú vo výskumných prácach, ktoré potrebujú východiskový bod na porovnanie. Rozdiel v prijatí odráža desaťročia nahromadených dôkazov o tom, ktorý prístup v praxi skutočne funguje.
Orezanie úplne zabraňuje tomu, aby sa politika niekedy výrazne zmenila.
Orezanie obmedzuje iba to, o koľko sa politika môže zmeniť v rámci jedného kroku aktualizácie. Počas mnohých iterácií sa politika môže stále podstatne meniť, pokiaľ každý jednotlivý krok zostane v rozsahu orezania. Obmedzenie je pre každý krok individuálne, nie je trvalé.
Neohraničené aktualizácie vždy konvergujú rýchlejšie ako orezané metódy.
Neobmedzené aktualizácie sa môžu spočiatku zdať rýchlejšie, ale často sa rozbiehajú alebo zrútia, čo núti reštartovanie, ktoré zmaže akékoľvek skoré zisky. V praxi metódy s orezaním, ako je PPO, často dosahujú lepší konečný výkon za kratší čas, pretože neplytvajú úsilím pri obnove po chybných aktualizáciách.
Orezávanie PPO ho robí ekvivalentom TRPO.
Obe metódy obmedzujú aktualizácie politík, ale TRPO používa tvrdé obmedzenie divergencie KL s riadkovým vyhľadávaním, zatiaľ čo PPO používa mäkké obmedzenie pravdepodobnostného pomeru. PPO je jednoduchšie, podporuje viacero epoch na dávku a lepšie sa škáluje na veľké modely, a preto v praxi do značnej miery nahradilo TRPO.
Väčší rozsah klipov vždy znamená agresívnejšie učenie.
Zväčšenie rozsahu orezania síce umožňuje väčšie aktualizácie, ale zároveň znižuje ochranný účinok orezania. Za určitým bodom sa algoritmus správa skôr ako neohraničená aktualizácia a stráca svoje výhody stability. Predvolený rozsah 0,2 je ideálny, nie východiskový bod pre ladenie smerom nahor.
Neobmedzené aktualizácie politík sú zastarané a zbytočné.
Neobmedzené aktualizácie zostávajú cenné ako východiskové body vo výskume a fungujú pomerne dobre v jednoduchých prostrediach, ako sú malé mriežkové svety alebo nízkodimenzionálne riadiace úlohy. Slúžia tiež ako pedagogické nástroje na pochopenie toho, prečo boli metódy dôveryhodných oblastí vôbec vyvinuté.
Zvoľte orezávanie politík v PPO vždy, keď potrebujete spoľahlivé a reprodukovateľné trénovanie v rôznych prostrediach, najmä v produkčných alebo výskumných prostrediach, kde je stabilita dôležitejšia ako rýchlosť. Neobmedzené aktualizácie politík majú zmysel iba pre jednoduché, nízkodimenzionálne problémy alebo teoretické štúdie, kde chcete konkrétne pozorovať režimy zlyhania, ktorým malo orezávanie zabrániť.
A/B testovanie v modelových službách smeruje prevádzku medzi konkurenčnými verziami modelov na meranie reálneho výkonu, zatiaľ čo nasadenie jedného modelu poskytuje jeden model všetkým používateľom. Tímy si medzi nimi vyberajú na základe tolerancie rizika, objemu prevádzky a potreby štatistického overenia pred úplným nasadením.
A/B testovanie pri vydávaní obsahu zahŕňa zavádzanie variácií pre rôzne segmenty publika a meranie výkonnosti, zatiaľ čo jednorazové vydania obsahu ponúkajú jednu verziu všetkým naraz. Každý prístup vyhovuje iným cieľom, pričom A/B testovanie uprednostňuje optimalizáciu na základe dát a jednorazové vydania uprednostňujú rýchlosť a jednoduchosť.
Toto porovnanie analyzuje strategické voľby v strojovom učení medzi adaptáciou domény, ktorá prenáša znalosti z označeného zdrojového prostredia do iného cieľového prostredia, a školením v rámci domény, ktoré vytvára modely výlučne na základe údajov získaných z presného cieľového nastavenia nasadenia.
Toto podrobné porovnanie skúma architektonické rozdiely, prevádzkové limity a reálny výkon adaptívnych inteligenčných systémov v porovnaní so systémami automatizácie s pevným správaním. Pozrieme sa na to, ako systémy, ktoré sa neustále učia z nových environmentálnych údajov, fungujú v porovnaní s rigidnými, predvídateľnými rámcami založenými na pravidlách.
Adaptívne vyhľadávanie dynamicky upravuje spôsob a aké informácie systém načítava na základe dotazu, zatiaľ čo statické vyhľadávacie kanály sa riadia pevnými pravidlami bez ohľadu na kontext. Obe poháňajú moderné aplikácie umelej inteligencie, ale výrazne sa líšia vo flexibilite, nákladoch a presnosti. Výber medzi nimi závisí od zložitosti pracovnej záťaže a rozpočtu.
