A PPO-ban a szabályzatvágás korlátozza, hogy egy új szabályzat mennyire térhet el a régitől az egyes frissítések során, így a betanítás stabil marad. A korlátlan szabályzatfrissítések lehetővé teszik az új szabályzat szabad elmozdulását, ami felgyorsíthatja a tanulást, de összetett környezetekben gyakran instabilitáshoz vagy összeomláshoz vezet.
A Proximális Szabályzat Optimalizálás egy technikája, amely korlátozza a szabályzat frissítési lépésenkénti változásának mértékét.
Egy olyan megközelítés, ahol a szabályzat paraméterei egyetlen betanítási iteráció alatt tetszőleges mértékben változhatnak explicit korlátozások nélkül.
| Funkció | Szabályzatkivágás a PPO-ban | Korlátlan szabályzatfrissítések |
|---|---|---|
| Frissítési korlátozás | 0,1–0,2 arányra vágva | Nincs explicit korlátozás |
| Edzési stabilitás | Általában stabil az iterációk között | Hajlamos a rezgésekre és az összeomlásra |
| Mintavételi hatékonyság | Magas, újra felhasználja a gyűjtött pályákat | Változó, gyakran friss adatokat igényel |
| Megvalósítás összetettsége | Mérsékelt, egyetlen levágott objektív | Egyszerű, standard lejtős emelkedés |
| Hiperparaméter érzékenység | Alacsonyabb, a vágási tartomány megbocsátó | A magasabb tanulási sebesség kritikus fontosságú |
| A szabályzat összeomlásának kockázata | Alacsony a közelségi korlát miatt | Magas külső védelem nélkül |
| Gyakori használati esetek | Robotika, játék MI, RLHF, folyamatos vezérlés | Egyszerű játékfeladatok, elméleti elemzés |
| Származás | OpenAI, 2017-es PPO-tanulmány | A szakpolitikai gradiens korai irodalma, 1990-es évek–2000-es évek |
PPO-ban a szabályzatvágás úgy működik, hogy kiszámítja az új és a régi műveleti valószínűségek arányát, majd ezt az arányt egy szűk sávon belülre vágja (általában 0,8 és 1,2 között). Amikor az arány megpróbál kimozdulni ebből a sávból, a gradiensjel lenullázódik, gyakorlatilag azt jelezve az optimalizálónak, hogy „ne nyomjon tovább ebbe az irányba”. A korlátlan frissítések teljesen kihagyják ezt a védelmet, lehetővé téve az optimalizáló számára, hogy a szabályzatparamétereket a gradiens által meghatározott pontok között mozgassa, függetlenül attól, hogy mennyire drámai az eltolódás.
A levágott megközelítés azért érdemli ki megbízhatóságát, mert megakadályozza a katasztrofális felejtést, amely a korlátlan metódusokat sújtja. Amikor egy jó szabályzatot találnak, a levágás megakadályozza, hogy egy túlzottan magabiztos frissítés megsemmisítse. A korlátlan frissítések esetenként gyorsabban találhatnak áttörést, de hajlamosak arra is, hogy heteknyi előrehaladást dobjanak ki egyetlen rossz lépésben, ezért a legtöbb éles rendszer kerüli őket.
PPO vágása lehetővé teszi az optimalizálás több korszakát ugyanazon a begyűjtött tapasztalati kötegen, ami drámaian javítja a mintavételi hatékonyságot. Mivel a szabályzat nem sodródhat túl messzire, az adatok több gradiens lépésben is relevánsak maradnak. A korlátlan frissítések általában minden iterációban új mintákat igényelnek, mivel a szabályzat annyira megváltozhatott, hogy a régi pályák már nem tükrözik az aktuális viselkedést, pazarolva a számítási és környezeti erőforrásokat.
A levágás figyelemre méltóan megbocsátóvá teszi a PPO-t a hiperparaméterekkel. A 0,2-es levágási tartomány rengeteg feladatnál jól működik, különösebb finomhangolás nélkül. A korlátlan frissítések a tanulási sebességtől függően élnek és halnak meg: túl kicsi esetén a tanulási folyamat lassú, túl nagy esetén a szabályzat eltér. Ez az érzékenység a korlátlan módszereket frusztrálóvá teszi azoknak a szakembereknek, akiknek nincs idejük kiterjedt átfésülésekre.
Bármelyik modern RL kódbázisban böngészve láthatjuk, hogy a PPO uralja a terepet, az OpenAI saját munkájától kezdve a robotikai laboratóriumokon át a nyelvi modellek finomhangolását végző folyamatokig, mint például az RLHF. A korlátlan szabályzatfrissítések többnyire a tankönyvekben és az elméleti vitákban maradnak meg, időnként pedig olyan kutatási cikkekben is felbukkannak, amelyekhez viszonyítási alapra van szükség. Az alkalmazásbeli különbség évtizedek alatt felhalmozott bizonyítékokat tükröz arról, hogy melyik megközelítés működik valójában a gyakorlatban.
A levágás teljesen megakadályozza, hogy a szabályzat valaha is jelentősen megváltozzon.
A vágás csak azt korlátozza, hogy a szabályzat mennyit változhat egyetlen frissítési lépésen belül. Sok iteráció során a szabályzat továbbra is jelentősen eltérhet, amíg minden egyes lépés a vágási tartományon belül marad. A korlátozás lépésenkénti, nem állandó.
A korlátlan frissítések mindig gyorsabban konvergálnak, mint a vágott metódusok.
korlátlan frissítések elsőre gyorsabbnak tűnhetnek, de gyakran eltérnek vagy összeomlanak, ami újraindításokat kényszerít ki, és eltörli a korai nyereségeket. A gyakorlatban a korlátozott módszerek, mint például a PPO, gyakran jobb végső teljesítményt érnek el kevesebb idő alatt, mivel nem pazarolják az energiát a rossz frissítések utáni helyreállításra.
A PPO vágása egyenértékűvé teszi a TRPO-val.
Mindkét módszer korlátozza a szabályzatfrissítéseket, de a TRPO egy kemény KL divergencia-korlátozást használ sorkereséssel, míg a PPO egy lágy korlátozást alkalmaz a valószínűségi arányon. A PPO egyszerűbb, több epochot támogat kötegenként, és jobban skálázódik nagy modellekhez, ezért a gyakorlatban nagyrészt felváltotta a TRPO-t.
A nagyobb csipesztartomány mindig agresszívabb tanulást jelent.
A vágási tartomány növelése nagyobb frissítéseket tesz lehetővé, de egyben csökkenti a vágás védő hatását is. Egy bizonyos ponton túl az algoritmus inkább korlátlan frissítésként viselkedik, és elveszíti stabilitási előnyeit. Az alapértelmezett 0,2-es tartomány egy optimális tartomány, nem pedig kiindulópont a felfelé hangoláshoz.
korlátlan szabályzatfrissítések elavultak és haszontalanok.
A korlátlan frissítések továbbra is értékes alapként szolgálnak a kutatásban, és meglehetősen jól működnek egyszerű környezetekben, mint például a kis gridvilágok vagy az alacsony dimenziós vezérlési feladatok. Pedagógiai eszközként is szolgálnak annak megértéséhez, hogy miért fejlesztették ki a megbízhatósági régió módszereket.
Válassza a PPO-ban a szabályzatvágást, ha megbízható, reprodukálható betanításra van szüksége változatos környezetekben, különösen termelési vagy kutatási környezetben, ahol a stabilitás fontosabb, mint a nyers sebesség. A korlátlan szabályzatfrissítéseknek csak egyszerű, alacsony dimenziójú problémák vagy elméleti tanulmányok esetén van értelme, ahol kifejezetten azokat a hibamódokat szeretné megfigyelni, amelyeket a vágás megakadályozni hivatott.
késleltetésre fókuszált kiszolgálás és a tiszta pontosságoptimalizálás két egymással versengő filozófiát képvisel a mesterséges intelligencia telepítésében. A késleltetésre összpontosító kiszolgálás a sebességet és a felhasználói élményt helyezi előtérbe, míg a tiszta pontosságoptimalizálás a lehető legmagasabb modellteljesítményt célozza meg, függetlenül a következtetési időtől. A kettő közötti választás meghatározza, hogyan viselkednek a mesterséges intelligencia rendszerek éles környezetben.
Az A/B tesztelés a modellkiszolgáló rendszerben a versengő modellverziók közötti forgalmat irányítja át a valós teljesítmény mérése érdekében, míg az egyetlen modell telepítése egyetlen modellt küld minden felhasználónak. A csapatok a kockázattűrés, a forgalom mennyisége és a teljes bevezetés előtti statisztikai validáció szükségessége alapján választanak közöttük.
Az A/B tesztelés a tartalomkiadásokban magában foglalja a variációk különböző közönségszegmensek számára történő bevezetését és a teljesítmény mérését, míg az egyszeri tartalomkiadások egyetlen verziót juttatnak el egyszerre mindenkihez. Minden megközelítés más célokat szolgál, az A/B tesztelés az adatvezérelt optimalizálást, míg az egyszeri kiadások a sebességet és az egyszerűséget helyezik előtérbe.
Ez a részletes összehasonlítás az adaptív intelligenciamotorok architektúrális különbségeit, működési korlátait és valós teljesítményét vizsgálja a fix viselkedésű automatizálási rendszerekkel szemben. Megvizsgáljuk, hogy az új környezeti adatokból folyamatosan tanuló rendszerek hogyan viszonyulnak a merev, kiszámítható, szabályokon alapuló keretrendszerekhez.
Az adaptív lekérések dinamikusan igazítják a rendszer által lekérdezett információk módját és típusát, míg a statikus lekérési folyamatok rögzített szabályokat követnek, a kontextustól függetlenül. Mindkettő modern mesterséges intelligencia alkalmazásokat működtet, de rugalmasságukban, költségükben és pontosságukban élesen különböznek. A választás a köztük lévő feladatok összetettségétől és a költségvetéstől függ.
