El retall de polítiques a PPO restringeix fins a quin punt una nova política es pot desviar de l'antiga durant cada actualització, mantenint l'entrenament estable. Les actualitzacions de polítiques il·limitades permeten que la nova política canviï lliurement, cosa que pot accelerar l'aprenentatge però sovint condueix a la inestabilitat o al col·lapse en entorns complexos.
Una tècnica d'optimització de polítiques proximals que limita quant pot canviar la política per pas d'actualització.
Un enfocament on els paràmetres de política poden canviar en qualsevol quantitat durant una sola iteració d'entrenament sense restriccions explícites.
| Funcionalitat | Retall de polítiques a PPO | Actualitzacions de polítiques il·limitades |
|---|---|---|
| Restriccions d'actualització | Retallat a una proporció de 0,1–0,2 | Cap restricció explícita |
| Estabilitat d'entrenament | Generalment estable entre iteracions | Propens a oscil·lacions i col·lapses |
| Eficiència de la mostra | Alt, reutilitza trajectòries recollides | Variable, sovint requereix dades fresques |
| Complexitat d'implementació | Objectiu moderat amb un sol retall | Ascensió senzilla amb gradient estàndard |
| Sensibilitat de l'hiperparàmetre | El rang de retall més baix és tolerant | Una taxa d'aprenentatge més alta és crítica |
| Risc de col·lapse de polítiques | Baix a causa de la restricció de proximitat | Alt sense salvaguardes externes |
| Casos d'ús comuns | Robòtica, IA de jocs, RLHF, control continu | Problemes simples de joguines, anàlisi teòrica |
| Origen | OpenAI, article de la PPO de 2017 | Literatura primerenca sobre el gradient polític, dècada del 1990-2000 |
El retall de polítiques a PPO funciona calculant la relació entre les probabilitats d'acció noves i antigues, i després retallant aquesta relació per mantenir-se dins d'una banda estreta (normalment de 0,8 a 1,2). Quan la relació intenta moure's fora d'aquesta banda, el senyal del gradient es posa a zero, indicant efectivament a l'optimitzador "no pressioni més en aquesta direcció". Les actualitzacions il·limitades ometen completament aquesta salvaguarda, permetent que l'optimitzador mogui els paràmetres de la política allà on apunti el gradient, independentment de com de dràstic sigui el canvi.
L'enfocament retallat es guanya la seva reputació de fiabilitat perquè evita l'oblit catastròfic que afecta els mètodes il·limitats. Quan es troba una bona política, el retallament evita que sigui destruïda per una actualització massa segura. Les actualitzacions il·limitades ocasionalment poden trobar avenços més ràpidament, però també tenen el costum de perdre setmanes de progrés en un sol pas incorrecte, motiu pel qual la majoria de sistemes de producció els eviten.
El retall de PPO permet múltiples èpoques d'optimització en el mateix lot d'experiència recollida, millorant dràsticament l'eficiència de la mostra. Com que la política no pot anar massa lluny, les dades continuen sent rellevants al llarg de diversos passos de gradient. Les actualitzacions il·limitades solen requerir mostres noves a cada iteració, ja que la política pot haver canviat tant que les trajectòries antigues ja no reflecteixen el comportament actual, malgastant recursos computacionals i ambientals.
El retall fa que el PPO sigui notablement tolerant amb els hiperparàmetres. El rang de retall de 0,2 funciona bé en una àmplia gamma de tasques sense gaire ajustament. Les actualitzacions il·limitades viuen i moren segons la velocitat d'aprenentatge: massa petites i l'aprenentatge s'arrossega, massa grans i la política divergeix. Aquesta sensibilitat fa que els mètodes il·limitats siguin frustrants per als professionals que no tenen temps per a escombrats extensos.
Si feu un cop d'ull a qualsevol base de codi RL moderna, trobareu que el PPO domina el panorama, des del propi treball d'OpenAI fins a laboratoris de robòtica i processos d'afinament de models de llenguatge com ara RLHF. Les actualitzacions de polítiques il·limitades romanen principalment en llibres de text i debats teòrics, i ocasionalment apareixen en articles de recerca que necessiten una línia de base per comparar-la. La bretxa en l'adopció reflecteix dècades d'evidència acumulada sobre quin enfocament funciona realment a la pràctica.
El retall impedeix completament que la política canviï significativament.
El retall només limita quant pot canviar la política en un sol pas d'actualització. Durant moltes iteracions, la política encara pot variar substancialment sempre que cada pas individual es mantingui dins del rang de retall. La restricció és per pas, no permanent.
Les actualitzacions il·limitades sempre convergeixen més ràpid que els mètodes retallats.
Les actualitzacions sense límits poden semblar més ràpides al principi, però sovint divergeixen o col·lapsen, forçant reinicis que esborren qualsevol guany inicial. A la pràctica, els mètodes retallats com PPO sovint aconsegueixen un millor rendiment final en menys temps de rellotge de paret perquè no perden esforços recuperant-se d'actualitzacions incorrectes.
El retall de PPO el fa equivalent a TRPO.
Ambdós mètodes restringeixen les actualitzacions de polítiques, però TRPO utilitza una restricció de divergència KL estricta amb una cerca de línia, mentre que PPO utilitza un retall suau a la relació de probabilitat. PPO és més senzill, admet múltiples èpoques per lot i s'escala millor a models grans, motiu pel qual va substituir en gran mesura TRPO a la pràctica.
Un rang de clip més gran sempre significa un aprenentatge més agressiu.
Augmentar el rang de retalls permet actualitzacions més grans, però també redueix l'efecte protector del retall. Més enllà d'un cert punt, l'algoritme es comporta més com una actualització sense límits i perd els seus beneficis d'estabilitat. El rang per defecte de 0,2 és un punt ideal, no un punt de partida per a l'ajust cap amunt.
Les actualitzacions de polítiques il·limitades són obsoletes i inútils.
Les actualitzacions il·limitades continuen sent valuoses com a línies de base en la recerca i funcionen raonablement bé en entorns senzills com ara petites xarxes socials o tasques de control de baixa dimensió. També serveixen com a eines pedagògiques per entendre per què es van desenvolupar els mètodes de regió de confiança en primer lloc.
Trieu el retall de polítiques a PPO sempre que necessiteu un entrenament fiable i reproduïble en diversos entorns, especialment en entorns de producció o recerca on l'estabilitat importa més que la velocitat bruta. Les actualitzacions de polítiques il·limitades només tenen sentit per a problemes simples i de baixa dimensió o estudis teòrics on voleu observar específicament els modes de fallada que el retall estava dissenyat per evitar.
Aquest desglossament detallat explora les diferències fonamentals entre les actualitzacions de gràfics basades en esdeveniments i el processament de gràfics per lots dins de les arquitectures d'IA. Mentre que les pipelines basades en esdeveniments gestionen la transmissió en temps real i les mutacions irregulars de la topologia de xarxa, el processament per lots consolida els canvis en execucions computacionals pesades i programades per maximitzar el rendiment del sistema i la saturació del maquinari.
Les actualitzacions de models en temps real i el reentrenament de models per lots representen dos enfocaments fonamentalment diferents per mantenir els sistemes d'aprenentatge automàtic actualitzats. Els mètodes en temps real s'adapten instantàniament a les noves dades, mentre que el reentrenament per lots reconstrueix els models a intervals programats utilitzant conjunts de dades acumulats.
Les actualitzacions de la versió LLM se centren en la implementació de models de llenguatge més nous i capaços amb un raonament i unes funcions millorades, mentre que el manteniment de models antics manté els sistemes d'IA més antics funcionant de manera fiable. Les organitzacions han de sospesar la innovació contra l'estabilitat a l'hora de decidir entre actualitzar o mantenir els seus models existents.
Aquesta comparació analitza les opcions estratègiques en l'aprenentatge automàtic entre l'adaptació de domini, que transfereix coneixement d'un entorn d'origen etiquetat a un entorn de destinació diferent, i l'entrenament dins del domini, que crea models completament a partir de dades recollides de la configuració exacta de desplegament de destinació.
L'adaptació lingüística en la IA se centra en l'ensenyament de models per gestionar idiomes específics mitjançant l'afinament i l'aprenentatge per transferència, mentre que els sistemes d'IA agnòstics a l'idioma tenen com a objectiu processar qualsevol idioma sense formació específica per a l'idioma. Ambdós enfocaments aborden els reptes multilingües, però difereixen fonamentalment en l'arquitectura, les dades d'entrenament i el desplegament al món real.
