El preentrenament construeix el coneixement fonamental d'un model a partir de conjunts de dades massius, mentre que l'optimització posterior a l'entrenament refina aquesta base per a tasques específiques i alineació humana. Ambdues etapes són essencials en el desenvolupament modern de la IA, ja que compleixen funcions complementàries en lloc de competidores.
La fase d'entrenament inicial on un model aprèn patrons generals a partir d'enormes quantitats de text o dades en brut.
Tècniques aplicades després del preentrenament per especialitzar un model, millorar l'alineació i augmentar el rendiment de les tasques.
| Funcionalitat | Preentrenament | Optimització posterior a l'entrenament |
|---|---|---|
| Etapa en el procés de construcció | Primera fase del desenvolupament del model | Segueix la preformació |
| Objectiu principal | Aprendre coneixements i patrons generals | Especialitzar i alinear el model |
| Requisits de dades | Bilions de fitxes, sense etiquetar | Milers o milions d'exemples etiquetats |
| Cost de computació | Extremadament alt (milions de dòlars) | Moderat (milers de dòlars) |
| Tècniques comunes | Aprenentatge autosupervisat, modelatge de llenguatge emmascarat | SFT, RLHF, DPO, IA constitucional |
| Sortida | Model bàsic amb àmplies capacitats | Model alineat i preparat per a tasques |
| Durada | Setmanes o mesos en grans cúmuls | Hores a dies |
| Reversibilitat | Punt de partida per a tot el treball posterior | Es pot repetir o ajustar |
La preformació serveix com a etapa de construcció de fonaments on un model absorbeix coneixements generals de grans quantitats de dades en brut. Sense això, el model no tindria cap comprensió subjacent del llenguatge, el raonament o els fets del món. L'optimització posterior a la formació pren aquesta base i la transforma en alguna cosa útil, ensenyant al model a seguir instruccions, rebutjar sol·licituds perjudicials i excel·lir en tasques específiques. Penseu en la preformació com l'obtenció d'una educació general i la postformació com la formació laboral especialitzada que segueix.
La diferència d'escala entre aquestes dues etapes és impressionant. El preentrenament requereix conjunts de dades enormes, sovint bilions de tokens, i s'executa en milers de GPU durant setmanes o mesos. El postentrenament opera a una escala molt més petita, normalment utilitzant conjunts de dades seleccionats de milers a milions d'exemples. Això fa que el postentrenament sigui molt més accessible per a equips més petits i investigadors que volen personalitzar models existents sense construir-los des de zero.
El preentrenament es basa en objectius autosupervisats on el model essencialment s'aprèn a si mateix predient els tokens que falten o els següents en les seqüències. L'optimització postentrenament engloba un conjunt d'eines divers que inclou l'ajustament supervisat de parells instrucció-resposta, RLHF que utilitza classificacions de preferències humanes per entrenar un model de recompensa i mètodes més nous com DPO que simplifiquen el procés d'alineació. Cada tècnica postentrenament aborda objectius diferents, des de la utilitat bàsica fins a capacitats de raonament complexes.
Un model preentrenat per si sol és essencialment un autocompletament sofisticat, pot generar text coherent però no seguirà instruccions de manera fiable ni es comportarà amb seguretat. El postentrenament és el que transforma un model de llenguatge cru en un assistent de chatbot amb el qual realment voleu interactuar. El treball d'alineació realitzat en el postentrenament determina si el model és útil, inofensiu, honest i capaç de conversar amb matisos.
La formació posterior ofereix molta més flexibilitat perquè es pot repetir, combinar i ajustar sense haver de començar de nou. Els equips poden ajustar un model per a aplicacions mèdiques i després aplicar una optimització addicional per a les necessitats d'un hospital específic. La formació prèvia, un cop completada, produeix una base fixa sobre la qual tothom construeix. És per això que la comunitat d'IA ha canviat el seu enfocament cap a la investigació posterior a la formació, on la personalització i la diferenciació es produeixen més ràpidament.
La formació prèvia per si sola és suficient per convertir-se en un assistent d'IA útil.
Un model preentrenat és essencialment un completador de text sofisticat. Sense una optimització postentrenament, no pot seguir instruccions de manera fiable, rebutjar sol·licituds perjudicials ni mantenir converses coherents. Tots els chatbots de producció requereixen un treball substancial postentrenament.
L'optimització postentrenament és només un simple ajustament fi.
El postentrenament modern engloba una sofisticada gamma de tècniques, com ara RLHF, DPO, IA constitucional i entrenament centrat en el raonament. Aquests mètodes impliquen models complexos de recompenses, aprenentatge de preferències i refinament iteratiu que van molt més enllà de l'afinament supervisat bàsic.
Més entrenament previ sempre condueix a millors models.
La recerca ha demostrat que els beneficis decreixents derivats del simple escalat de les dades prèvies a l'entrenament. Aquest camp ha reconegut cada cop més que les millores posteriors a l'entrenament, especialment pel que fa al raonament i l'alineació, poden generar guanys més grans que el càlcul addicional previ a l'entrenament.
RLHF i DPO són el mateix.
Tot i que ambdós tenen com a objectiu alinear els models amb les preferències humanes, funcionen de manera diferent. RLHF entrena un model de recompensa separat que guia l'aprenentatge per reforç, mentre que DPO optimitza la política directament utilitzant parells de preferències sense necessitat d'un model de recompensa. DPO és més senzill però pot tenir característiques de rendiment diferents.
L'entrenament posterior pot solucionar qualsevol problema amb un model base.
El postentrenament no pot crear capacitats que no existeixin al model base. Si un model preentrenat no té certs coneixements o habilitats de raonament, cap ajustament fi les afegirà. La base establerta durant el preentrenament restringeix el que és possible més endavant.
L'optimització prèvia a la formació i la posterior a la formació no són enfocaments contraposats, sinó etapes seqüencials que ambdues importen enormement. La formació prèvia és essencial quan es crea un nou model bàsic des de zero i es necessiten àmplies capacitats, mentre que l'optimització posterior a la formació és l'opció pràctica per a la majoria d'equips que volen adaptar els models existents a casos d'ús específics. Per a la majoria d'organitzacions, la formació posterior ofereix el millor retorn de la inversió, ja que es basa en el treball ja realitzat pels principals laboratoris.
Aquest desglossament detallat explora les diferències fonamentals entre les actualitzacions de gràfics basades en esdeveniments i el processament de gràfics per lots dins de les arquitectures d'IA. Mentre que les pipelines basades en esdeveniments gestionen la transmissió en temps real i les mutacions irregulars de la topologia de xarxa, el processament per lots consolida els canvis en execucions computacionals pesades i programades per maximitzar el rendiment del sistema i la saturació del maquinari.
Les actualitzacions de models en temps real i el reentrenament de models per lots representen dos enfocaments fonamentalment diferents per mantenir els sistemes d'aprenentatge automàtic actualitzats. Els mètodes en temps real s'adapten instantàniament a les noves dades, mentre que el reentrenament per lots reconstrueix els models a intervals programats utilitzant conjunts de dades acumulats.
Les actualitzacions de la versió LLM se centren en la implementació de models de llenguatge més nous i capaços amb un raonament i unes funcions millorades, mentre que el manteniment de models antics manté els sistemes d'IA més antics funcionant de manera fiable. Les organitzacions han de sospesar la innovació contra l'estabilitat a l'hora de decidir entre actualitzar o mantenir els seus models existents.
Aquesta comparació analitza les opcions estratègiques en l'aprenentatge automàtic entre l'adaptació de domini, que transfereix coneixement d'un entorn d'origen etiquetat a un entorn de destinació diferent, i l'entrenament dins del domini, que crea models completament a partir de dades recollides de la configuració exacta de desplegament de destinació.
L'adaptació lingüística en la IA se centra en l'ensenyament de models per gestionar idiomes específics mitjançant l'afinament i l'aprenentatge per transferència, mentre que els sistemes d'IA agnòstics a l'idioma tenen com a objectiu processar qualsevol idioma sense formació específica per a l'idioma. Ambdós enfocaments aborden els reptes multilingües, però difereixen fonamentalment en l'arquitectura, les dades d'entrenament i el desplegament al món real.
