La compressió de models redueix les xarxes neuronals per tal que funcionin més ràpidament en dispositius més petits, mentre que l'expansió del model les fa créixer per gestionar tasques més complexes i millorar la precisió. Ambdós enfocaments aborden el mateix objectiu (un millor rendiment de la IA), però des de direccions oposades pel que fa a la mida i l'eficiència.
Un conjunt de tècniques que redueixen la mida i les demandes computacionals de les xarxes neuronals, tot preservant la màxima precisió possible.
Una estratègia que augmenta la mida, els paràmetres o la capacitat de les xarxes neuronals per impulsar la seva capacitat d'aprenentatge i el rendiment de les tasques.
| Funcionalitat | Compressió del model | Expansió del model |
|---|---|---|
| Objectiu principal | Reduir la mida del model i accelerar la inferència | Augmentar la capacitat i millorar la precisió |
| Tècniques comunes | Poda, quantització, destil·lació del coneixement | Paràmetres d'escalat, MoE, arquitectures més profundes |
| Efecte sobre la mida del model | Redueix significativament el model | Augmenta substancialment el model |
| Requisits de maquinari | Funciona amb maquinari modest, inclosos dispositius mòbils | Requereix GPU potents o clústers distribuïts |
| Cas d'ús típic | Implementació perimetral, aplicacions mòbils, inferència en temps real | Recerca, models fonamentals, tasques de raonament complex |
| Impacte en la precisió | Una lleugera caiguda de precisió és habitual però sovint acceptable | En general, millora la precisió i la capacitat |
| Cost de formació | Més baix, ja que els models més petits s'entrenen més ràpid | Extremadament alt, sovint milions de dòlars |
| Velocitat d'inferència | Molt més ràpid a causa de menys operacions | Més lent per sol·licitud tret que s'optimitzi |
La compressió de models i l'expansió de models representen dues filosofies oposades en l'aprenentatge profund. La compressió pregunta: "Com podem fer aquest model més petit sense perdre massa rendiment?" L'expansió planteja la pregunta contrària: "Com podem fer aquest model més gran per gestionar problemes més difícils?" Ambdues direccions han produït resultats impressionants, i els laboratoris d'IA moderns sovint les utilitzen juntes: entrenar primer un model massiu i després comprimir-lo per al desplegament.
La compressió es basa en mètodes com la poda (eliminació de pesos innecessaris), la quantificació (reducció de la precisió numèrica) i la destil·lació del coneixement (entrenament d'un model d'estudiant petit per imitar un professor més gran). L'expansió, en canvi, se centra en afegir més capes, més paràmetres o mòduls especialitzats com ara Mixture of Experts. Cada enfocament té el seu propi conjunt d'eines i l'elecció depèn en gran mesura de l'escenari de desplegament.
Els models comprimits estan dissenyats per executar-se de manera eficient en telèfons, navegadors i dispositius IoT on la memòria i la capacitat de càlcul són limitades. Els models expandits requereixen centres de dades equipats amb GPU d'alta gamma i consumeixen enormes quantitats d'electricitat durant l'entrenament. Una sola execució d'entrenament per a un model a escala fronterera pot costar diversos milions de dòlars només en càlcul, mentre que un model comprimit es pot entrenar en una sola estació de treball.
La compressió normalment sacrifica un petit percentatge de precisió a canvi d'uns guanys importants de velocitat i mida. L'expansió tendeix a millorar la precisió, però a costa d'una inferència més lenta i unes despeses operatives més elevades. Curiosament, la recerca mostra que els models molt grans de vegades es poden comprimir de manera més agressiva que els més petits, perquè contenen més coneixement redundant que es pot eliminar de manera segura.
La compressió impulsa productes com el reconeixement de veu en dispositius, les aplicacions de traducció mòbil i la classificació d'imatges en temps real. L'expansió impulsa sistemes d'avantguarda com ara models de llenguatge grans, generadors d'imatges i eines de recerca científica. Moltes empreses ara segueixen un pipeline de "formació a gran, implementació a petit", és a dir, utilitzen l'expansió durant el desenvolupament i la compressió per al producte final que arriba als usuaris.
Els models més grans sempre són millors que els més petits.
Els models més grans sovint tenen un millor rendiment en els punts de referència, però per a moltes tasques del món real, un model més petit ben comprimit pot igualar-los o superar-los. La mida adequada depèn del problema, les dades i les restriccions de desplegament, en lloc del recompte de paràmetres en brut.
La compressió del model sempre provoca grans disminucions de la precisió.
Les tècniques de compressió modernes, com l'entrenament amb quantificació i la destil·lació del coneixement, poden preservar entre un 95 i un 99 per cent de la precisió del model original. La disminució real depèn de l'agressivitat amb què es comprimeixi el model i del mètode que s'utilitzi.
Els models comprimits són menys segurs que els models de mida completa.
La compressió no fa inherentment que un model sigui més o menys vulnerable als atacs adversaris. La seguretat depèn de les dades d'entrenament, l'arquitectura i les tècniques defensives aplicades, no de la mida del model.
L'expansió del model només consisteix a afegir més paràmetres.
L'expansió també inclou millors dades, un entrenament més llarg, arquitectures millorades i objectius d'entrenament més intel·ligents. El simple fet d'aplicar més paràmetres a un problema sense dades de qualitat sovint porta a rendiments decreixents.
Has d'escollir entre compressió i expansió.
La majoria de sistemes d'IA de producció utilitzen tots dos. Els equips entrenen models grans per superar el límit de precisió i després els comprimeixen perquè el producte final sigui ràpid i assequible per executar a escala.
Trieu la compressió de models quan necessiteu una IA ràpida i eficient que s'executi amb maquinari limitat o que hagi de respondre en temps real. Trieu l'expansió de models quan abordeu problemes complexos on la precisió i la capacitat importen més que el cost, o quan creeu models bàsics que posteriorment es comprimiran per a la seva distribució.
Aquest desglossament detallat explora les diferències fonamentals entre les actualitzacions de gràfics basades en esdeveniments i el processament de gràfics per lots dins de les arquitectures d'IA. Mentre que les pipelines basades en esdeveniments gestionen la transmissió en temps real i les mutacions irregulars de la topologia de xarxa, el processament per lots consolida els canvis en execucions computacionals pesades i programades per maximitzar el rendiment del sistema i la saturació del maquinari.
Les actualitzacions de models en temps real i el reentrenament de models per lots representen dos enfocaments fonamentalment diferents per mantenir els sistemes d'aprenentatge automàtic actualitzats. Els mètodes en temps real s'adapten instantàniament a les noves dades, mentre que el reentrenament per lots reconstrueix els models a intervals programats utilitzant conjunts de dades acumulats.
Les actualitzacions de la versió LLM se centren en la implementació de models de llenguatge més nous i capaços amb un raonament i unes funcions millorades, mentre que el manteniment de models antics manté els sistemes d'IA més antics funcionant de manera fiable. Les organitzacions han de sospesar la innovació contra l'estabilitat a l'hora de decidir entre actualitzar o mantenir els seus models existents.
Aquesta comparació analitza les opcions estratègiques en l'aprenentatge automàtic entre l'adaptació de domini, que transfereix coneixement d'un entorn d'origen etiquetat a un entorn de destinació diferent, i l'entrenament dins del domini, que crea models completament a partir de dades recollides de la configuració exacta de desplegament de destinació.
L'adaptació lingüística en la IA se centra en l'ensenyament de models per gestionar idiomes específics mitjançant l'afinament i l'aprenentatge per transferència, mentre que els sistemes d'IA agnòstics a l'idioma tenen com a objectiu processar qualsevol idioma sense formació específica per a l'idioma. Ambdós enfocaments aborden els reptes multilingües, però difereixen fonamentalment en l'arquitectura, les dades d'entrenament i el desplegament al món real.
