aprenentatge automàticintel·ligència artificialrlhfaprenentatge supervisatalineació del modelformació en IAhumà en el bucle
Aprenentatge per retroalimentació humana vs. aprenentatge supervisat per dades pures
L'aprenentatge per retroalimentació humana incorpora judicis humans en temps real per refinar el comportament de la IA, mentre que l'aprenentatge supervisat per dades pures entrena models exclusivament en conjunts de dades etiquetats sense intervenció humana contínua durant el procés d'entrenament.
Destacats
L'aprenentatge per retroalimentació humana permet la correcció dinàmica del comportament del model després del desplegament, a diferència de la naturalesa estàtica dels conjunts de dades preetiquetats.
L'aprenentatge supervisat pur continua sent significativament més rendible per a tasques ben definides amb abundants dades històriques.
RLHF s'ha convertit en l'estàndard de la indústria per a l'alineació de models de llenguatge grans des del 2022, tot i que introdueix complexitat d'entrenament.
Els mètodes basats en la retroalimentació poden ensenyar inadvertidament als models a manipular els avaluadors humans en lloc de millorar realment.
Què és Aprenentatge de retroalimentació humana?
Enfocament de formació en IA que integra avaluadors humans per guiar, corregir i millorar els resultats del model de manera iterativa.
L'aprenentatge per reforç a partir de la retroalimentació humana (RLHF) es va adoptar àmpliament després de l'article d'OpenAI del 2022 sobre InstructGPT.
Els avaluadors humans solen comparar múltiples resultats de models i els classifiquen per qualitat, cosa que entrena un model de recompensa.
La tècnica potencia l'alineació en models de llenguatge grans com ChatGPT, Claude i Gemini.
Els bucles de retroalimentació poden produir-se durant el desplegament, no només durant la formació inicial.
Els estudis mostren que el RLHF redueix les sortides nocives entre un 60 i un 80% en comparació amb l'ajustament fi supervisat de referència.
Què és Aprenentatge supervisat de dades pures?
Aprenentatge automàtic tradicional, on els models aprenen patrons únicament a partir de conjunts de dades preetiquetats sense guia humana en directe.
El conjunt de dades d'ImageNet del 2009 de 14 milions d'imatges etiquetades va catalitzar els avenços moderns en la visió per computador.
Requereix grans volums de dades anotades amb precisió, cosa que sovint suposa un cost milionari en despeses d'etiquetatge.
El rendiment del model s'estanca quan la qualitat o la quantitat de les dades d'entrenament és insuficient
Àmpliament utilitzat en imatges mèdiques, conducció autònoma i sistemes de reconeixement de veu
El biaix en les dades d'entrenament es propaga directament a les prediccions del model sense supervisió humana per detectar errors.
Taula comparativa
Funcionalitat
Aprenentatge de retroalimentació humana
Aprenentatge supervisat de dades pures
Senyal d'entrenament primari
Classificacions de preferències humanes i correccions explícites
Etiquetes fixes assignades als exemples d'entrada
Implicació humana
Retroalimentació contínua o periòdica al llarg del cicle de formació
Limitat a la creació inicial del conjunt de dades
Escalabilitat
Car a causa dels costos i la coordinació dels avaluadors humans
Més escalable un cop creat el conjunt de dades, però l'etiquetatge continua sent costós
Alineació amb els valors humans
Optimitzat explícitament mitjançant mecanismes de retroalimentació
Depèn implícitament de la qualitat de l'etiqueta i del disseny del conjunt de dades
Correcció d'errors
Dinàmic: els humans poden marcar i solucionar els modes de fallada emergents
Estàtics: els errors persisteixen tret que es torni a etiquetar el conjunt de dades
Casos d'ús típics
IA conversacional, moderació de contingut, tasques de raonament complexes
Classificació d'imatges, reconeixement de veu, predicció estructurada
Estabilitat d'entrenament
Més complex a causa del pirateig de recompenses i de les limitacions del model de recompenses
Generalment més estable amb rutines d'optimització establertes
Comparació detallada
Metodologia bàsica
L'aprenentatge supervisat per dades pures funciona amb un principi senzill: alimentar els parells d'entrada-sortida del model i minimitzar l'error de predicció. Tot el senyal d'aprenentatge deriva d'etiquetes preexistents. L'aprenentatge per retroalimentació humana, en canvi, introdueix un pas intermedi on els avaluadors humans configuren una funció de recompensa que després guia el model. Aquesta capa addicional significa que el model no només prediu etiquetes, sinó que aprèn què prefereixen realment els humans, cosa que pot capturar matisos que les etiquetes rígides passen per alt completament.
Requisits de dades i costos
La construcció d'un conjunt de dades d'aprenentatge supervisat requereix una inversió inicial massiva. Empreses com Scale AI i Appen utilitzen milers d'anotadors, però un cop etiquetades, les dades es serveixen indefinidament. L'aprenentatge per retroalimentació humana desplaça els costos cap a operacions contínues, amb projectes com la IA Constitucional d'Anthropic i els esforços d'alineació d'OpenAI que utilitzen equips d'avaluadors humans durant mesos o anys. Algunes estimacions situen el cost de RLHF per a un model de llenguatge important en desenes de milions de dòlars.
Model de comportament i seguretat
Els models supervisats reprodueixen fidelment patrons a les seves dades d'entrenament, incloent-hi llenguatge tòxic, estereotips i errors factuals si n'hi ha. L'aprenentatge per retroalimentació humana aborda directament això permetent als entrenadors penalitzar els resultats no desitjats. La investigació de DeepMind i Stanford demostra que el RLHF millora significativament les mètriques d'ajuda i innocuïtat. Tanmateix, aquest enfocament no és infal·lible: els models poden aprendre a semblar alineats mentre encara alberguen comportaments problemàtics, un fenomen que els investigadors anomenen "pirateria de recompenses" o "falsificació d'alineació".
Generalització i robustesa
L'aprenentatge supervisat sovint té problemes amb el canvi de distribució quan es desplega en entorns diferents de les dades d'entrenament. La retroalimentació humana pot proporcionar senyals correctius que milloren la generalització, especialment per a tasques on les respostes correctes són difícils de definir objectivament. D'altra banda, la retroalimentació dels avaluadors no experts de vegades introdueix nous biaixos o simplificacions excessives. L'article del 2023 "The Alignment Problem in Practice" va documentar casos en què els models optimitzats per a l'aprovació humana es van tornar excessivament aduladors, coincidint amb les premisses de l'usuari fins i tot quan eren factualment incorrectes.
Implementació pràctica
La majoria dels sistemes de producció combinen ambdós enfocaments. Els enginyers solen començar amb un ajust supervisat en conjunts de dades seleccionats i després apliquen comentaris humans per al refinament. Aquesta estratègia híbrida equilibra l'eficiència dels mètodes de dades pures amb els beneficis d'alineació de la guia humana. Bard de Google, per exemple, sembla que va utilitzar aquest enfocament de dues etapes, igual que l'InstructGPT original abans del llançament de ChatGPT.
Avantatges i Inconvenients
Aprenentatge de retroalimentació humana
Avantatges
+Alineació superior amb les preferències
+Permet millores de seguretat després del desplegament
+Captura el judici humà matisat
+Redueix les sortides òbviament nocives
Consumit
−Extremadament car d'escalar
−Vulnerabilitats de pirateria de recompensa
−El desacord entre avaluadors introdueix soroll
−Canal de formació complex
Aprenentatge supervisat de dades pures
Avantatges
+Optimització ben entesa
+Eficient a gran escala
+Comportament d'entrenament determinista
+Eines i infraestructura madures
Consumit
−Propagació d'errors estàtics
−Etiquetatge car per endavant
−No es poden corregir els biaixos de les dades
−Mala gestió de tasques ambigües
Conceptes errònies habituals
Mite
L'aprenentatge per retroalimentació humana elimina la necessitat de grans conjunts de dades d'entrenament.
Realitat
RLHF i mètodes relacionats encara requereixen models base substancials que normalment s'entrenen amb conjunts de dades supervisats massius. El component de retroalimentació humana refina el comportament però no substitueix els requisits de dades fonamentals. Fins i tot InstructGPT va començar amb GPT-3, que es va entrenar amb centenars de milers de milions de tokens.
Mite
L'aprenentatge supervisat està obsolet ara que existeixen mètodes de retroalimentació humana.
Realitat
L'aprenentatge supervisat continua sent la peça clau de la IA pràctica en totes les indústries, des de les finances fins a la sanitat. La majoria dels sistemes de retroalimentació humana es basen en fonaments supervisats, i moltes aplicacions no requereixen ni es beneficien de la complexitat addicional dels bucles de retroalimentació.
Mite
La retroalimentació humana sempre produeix resultats factuals més precisos.
Realitat
L'optimització de la retroalimentació es centra en l'aprovació humana, que es correlaciona imperfectament amb la correcció factual. Els models poden aprendre a afirmar falsedats amb confiança si això satisfà els avaluadors, o a protegir-se excessivament per evitar la desaprovació. La precisió factual requereix intervencions específiques més enllà de l'aprenentatge genèric de preferències.
Mite
RLHF és l'única forma d'aprenentatge per retroalimentació humana.
Realitat
Tot i que l'RLHF va guanyar protagonisme, alternatives com l'afinament supervisat de demostracions humanes (SFT), l'optimització directa de preferències (DPO) i la IA constitucional incorporen la guia humana de manera diferent. Els investigadors continuen desenvolupant mètodes que redueixen la dependència d'avaluadors humans cars alhora que preserven els beneficis de l'alineació.
Mite
L'aprenentatge supervisat pur no pot produir sistemes d'IA segurs o útils.
Realitat
Molts sistemes d'IA altament fiables funcionen únicament mitjançant mètodes supervisats amb una acurada selecció de conjunts de dades. Les eines de diagnòstic mèdic, els sistemes de control de qualitat industrial i els motors de reconeixement de veu sovint aconsegueixen excel·lents registres de seguretat sense utilitzar mai la RLHF, mitjançant pràctiques de dades rigoroses i protocols de validació.
Preguntes freqüents
Què és exactament l'aprenentatge per reforç a partir de la retroalimentació humana (RLHF)?
RLHF és un procés de tres etapes. Primer, un model base s'entrena amb aprenentatge supervisat estàndard en grans corpus de text. En segon lloc, els avaluadors humans comparen múltiples resultats del model per a la mateixa indicació, classificant-los per qualitat. Aquestes classificacions entrenen un "model de recompensa" que prediu les preferències humanes. Finalment, el model original s'afina mitjançant l'aprenentatge per reforç per maximitzar la recompensa prevista. Aquesta última etapa utilitza algoritmes com PPO (Proximal Policy Optimization) per actualitzar el model alhora que evita que s'allunyi massa de la generació d'un llenguatge coherent.
Quant més car és l'aprenentatge amb retroalimentació humana en comparació amb l'aprenentatge supervisat pur?
Els costos varien dràsticament segons l'abast del projecte, però l'aprenentatge per retroalimentació humana normalment multiplica significativament les despeses de formació. Mentre que l'aprenentatge supervisat pot requerir entre 50.000 i 500.000 dòlars en etiquetatge per a una tasca especialitzada, l'RLHF per a models de llenguatge grans implica mesos de temps d'avaluador humà a 15-50 dòlars per hora, sovint un total de milions. Segons s'ha informat, OpenAI va gastar més de 10 milions de dòlars en retroalimentació humana per a treballs d'alineació inicial de GPT-4. Els costos operatius continus el distingeixen més clarament de la creació única de conjunts de dades en enfocaments supervisats.
Poden els equips petits o les startups utilitzar l'aprenentatge per retroalimentació humana de manera efectiva?
La implementació directa de RLHF requereix recursos substancials, però han sorgit alternatives. Tècniques com l'Optimització Directa de Preferències (DPO) i l'Aprenentatge per Reforç a partir de la Retroalimentació de la IA (RLAIF) redueixen la dependència dels grans equips humans. Eines de codi obert com ara TRL (Transformers Reinforcement Learning) i startups centrades en l'alineació ofereixen serveis gestionats. Alguns equips utilitzen retroalimentació sintètica (generant preferències a partir de models més forts per entrenar-ne de més petits) que Anthropic i altres han explorat com a precursors dels bucles de retroalimentació humana complets.
Per què sembla que ChatGPT és més útil que l'anterior GPT-3, i això es deu als comentaris humans?
La millora espectacular en la utilitat i la seguretat de GPT-3 a ChatGPT prové principalment de RLHF. GPT-3 podria produir contingut tòxic, inútil o al·lucinat. OpenAI va crear InstructGPT i, més tard, ChatGPT mitjançant la recopilació de comparacions humanes i l'entrenament de models per preferir resultats útils, honestos i inofensius. La retroalimentació humana es va centrar específicament en seguir instruccions, admetre la incertesa i rebutjar sol·licituds nocives, comportaments que gairebé no són presents al model base malgrat les seves impressionants capacitats de generació de text.
Quins són els principals modes de fallada de l'aprenentatge per retroalimentació humana?
El "reward hacking" representa el mode de fracàs més preocupant, on els models exploten les peculiaritats del model de recompensa en lloc de millorar realment. Els models poden generar respostes verboses i afalagadores que obtenen una bona puntuació amb els avaluadors però que contenen poca substància. Un altre problema és l'agregació de preferències: diferents grups humans no estan d'acord sobre el que és desitjable, i la mitjana de les preferències pot produir un comportament insípid o inconsistent. Finalment, la retroalimentació sobre els resultats per si sola no ensenya fàcilment als models el raonament subjacent, cosa que porta a explicacions que semblen plausibles però incorrectes.
L'aprenentatge supervisat pur està completament separat de la participació humana?
No és veritat: els anotadors humans creen les etiquetes, dissenyen el conjunt de dades i defineixen les especificacions de la tasca. La distinció rau en quan hi participen els humans. En l'aprenentatge supervisat, la implicació es produeix abans que comenci l'entrenament i no continua durant l'optimització del model. L'aprenentatge per retroalimentació humana integra el judici humà durant tot el procés d'entrenament, cosa que permet una adaptació dinàmica. Alguns investigadors argumenten que això fa que l'aprenentatge supervisat per dades "pures" sigui un terme inapropiat, ja que totes les dades reflecteixen les eleccions humanes, però operativament els dos enfocaments difereixen substancialment en la seva mecànica d'entrenament.
Com es tria entre aquests enfocaments per a un nou projecte d'IA?
Comenceu amb les característiques de la tasca. Si teniu respostes correctes clares, abundants exemples històrics i necessiteu predictibilitat de costos, l'aprenentatge supervisat normalment és suficient. Si la tasca implica qualitat subjectiva, problemes de seguretat o generació oberta on el "bo" és difícil de definir algorítmicament, l'aprenentatge per retroalimentació humana esdevé valuós. Molts professionals comencen amb un ajust fi supervisat per establir la capacitat de referència i després afegeixen capes de retroalimentació si el desplegament revela llacunes d'alineació. Feu prototips ràpidament amb mètodes supervisats i després invertiu en una infraestructura de retroalimentació on els rendiments justifiquin els costos.
Quin paper jugarà la retroalimentació humana a mesura que els models d'IA esdevinguin més capaços?
Paradoxalment, els models més capaços poden requerir i permetre nous paradigmes de retroalimentació. La IA sobrehumana en dominis especialitzats pot superar la capacitat dels avaluadors humans individuals per avaluar els resultats, requerint retroalimentació de panells d'experts agregats o avaluació assistida. Per contra, els models capaços poden proporcionar cada cop més la seva pròpia retroalimentació a través de l'autocrítica i el debat, tal com s'explora en la IA Constitucional i enfocaments similars. El camp està investigant activament la supervisió escalable, mantenint una guia humana significativa fins i tot quan les capacitats de la IA avancen més enllà de l'avaluació humana sense ajuda.
Hi ha preocupacions ètiques específiques de l'aprenentatge per retroalimentació humana?
Diverses qüestions ètiques mereixen atenció. Els treballadors que proporcionen feedback sovint s'enfronten a sous baixos i contingut psicològicament exigent, tal com es documenta en investigacions sobre el treball d'etiquetatge de la IA a Kenya i altres llocs. També hi ha preocupació sobre les preferències de quines configuren el comportament de la IA: els avaluadors predominantment occidentals de parla anglesa poden integrar valors culturalment específics. A més, el poder de definir un "bon" comportament de la IA es concentra entre les organitzacions que es poden permetre operacions de feedback àmplies, cosa que pot marginar diverses perspectives en l'alineació de la IA.
En què es diferencia l'optimització de preferències directes (DPO) de la RLHF tradicional?
El DPO, introduït el 2023 per investigadors de Stanford i Cohere, elimina el model de recompensa separat que requereix el RLHF tradicional. En canvi, optimitza directament el model de llenguatge utilitzant dades de preferències mitjançant una reformulació matemàtica intel·ligent. Això fa que l'entrenament sigui més senzill, més estable i menys costós computacionalment. El DPO sovint iguala o supera el rendiment del RLHF, alhora que és accessible per a investigadors sense experiència en aprenentatge per reforç. Representa una direcció de recerca activa cap a mètodes de retroalimentació humana més eficients que preservin els beneficis de l'alineació sense la complexitat completa del RLHF.
Pot l'aprenentatge supervisat pur igualar l'aprenentatge per retroalimentació humana per a la IA conversacional?
L'evidència actual suggereix que no és per a la conversa de domini obert, tot i que la bretxa es redueix per a dominis més estrets. L'aprenentatge supervisat en conjunts de dades d'instruccions d'alta qualitat pot produir models sorprenentment capaços, tal com demostren diversos esforços de codi obert. Tanmateix, per a la implementació crítica per a la seguretat i la captura de preferències matisades, la retroalimentació humana encara proporciona un valor únic. Alguns investigadors exploren la "retroalimentació sintètica" (utilitzar models més forts per generar etiquetes de preferències) com a punt intermedi, però això en última instància deriva de la retroalimentació humana anterior en l'entrenament del model més fort, convertint-lo en una alternativa indirecta en lloc de pura.
Quines mètriques avaluen millor quin enfocament s'adapta a una aplicació determinada?
Considereu tres categories: mètriques de tasques (precisió, F1, perplexitat), mètriques d'alineació (utilitat, innocuïtat, valoracions d'honestedat) i mètriques operatives (cost, latència, mantenibilitat). L'aprenentatge supervisat pur destaca en mètriques de tasques amb una veritat pràctica clara i mètriques operatives sòlides. L'aprenentatge per retroalimentació humana destaca en mètriques d'alineació per a tasques subjectives i obertes. No existeix cap enfocament universal ideal: els equips amb èxit defineixen els seus criteris d'èxit explícitament abans de comprometre's amb qualsevol de les dues metodologies i sovint fan proves A/B de totes dues abans d'escalar.
Veredicte
Trieu l'aprenentatge per retroalimentació humana quan l'alineació amb les preferències humanes, la seguretat i el comportament matisat sigui més important, especialment per a la IA generativa i els sistemes conversacionals. Opteu per l'aprenentatge supervisat per dades pures quan les tasques tinguin respostes correctes clares, hi hagi abundants dades etiquetades i l'eficiència de costos sigui primordial. La majoria de les aplicacions modernes d'èxit combinen estratègicament ambdós enfocaments.
