Els models d'alineació imatge-text com CLIP i ALIGN aprenen representacions visuals-lingüístiques conjuntes entrenant-se en conjunts de dades aparellats massius, permetent la transferència de pla zero. Els models de modalitat independent processen imatges i text per separat, sovint excel·lint en tasques especialitzades d'una sola modalitat sense una base intermodal.
Xarxes neuronals entrenades en dades de subtítols d'imatges aparellades per aprendre representacions visuals i textuals compartides en un espai d'incrustació comú.
Sistemes d'IA dissenyats per gestionar imatges o text de forma aïllada, sense aprendre una representació intermodal compartida entre tots dos.
| Funcionalitat | Models d'alineació imatge-text | Models de modalitat independents |
|---|---|---|
| Objectiu principal de formació | Coincidència contrastiva imatge-text | Pèrdua de tasca d'una sola modalitat (classificació, modelització del llenguatge) |
| Requisits de dades de formació | Centenars de milions o milers de milions d'exemples d'imatge-text aparellats | Dades a gran escala sense etiquetar o etiquetades dins d'una modalitat |
| Capacitats de tret zero | Transferència forta de zero shots a categories invisibles mitjançant indicacions de text | Limitat a categories o tasques vistes durant la formació |
| Enfocament arquitectònic | Codificadors duals que es projecten en un espai d'incrustació compartit | Codificador únic especialitzat per a un tipus d'entrada |
| Comprensió intermodal | Raonament conjunt natiu a través de la visió i el llenguatge | Requereix fusió o canalització externa per connectar modalitats |
| Cost computacional | Alt, a causa de conjunts de dades aparellats massius i grans mides de lots | Generalment més baix, especialment per a l'afinament fi unimodal |
| Millors casos d'ús | Recuperació d'imatges, classificació de zero-shot, cerca visual | Tasques de visió especialitzades o generació i raonament de text pur |
| Models d'exemple | RETALLAR, ALINEAR, SigLIP, Florència, BLIP | ResNet, ViT, GPT-4, LLaMA, BERT |
Els models d'alineació imatge-text es construeixen al voltant de la idea que els conceptes visuals i les seves descripcions lingüístiques comparteixen una estructura semàntica subjacent. Entrenant-se amb centenars de milions de parells imatge-peu de foto, aprenen a assignar ambdues entrades a un espai d'incrustació compartit on els elements relacionats semànticament s'agrupen. Els models de modalitat independent prenen el camí oposat, centrant tota la seva capacitat en dominar un tipus d'entrada. Un model només de visió com una xarxa neuronal convolucional aprèn característiques visuals jeràrquiques, mentre que un model de llenguatge aprèn patrons estadístics de text humà. Cap dels dos intenta entendre l'altra modalitat durant l'entrenament.
On realment destaquen els models d'alineació és en la generalització de zero shots. Com que codifiquen imatges i text en el mateix espai, podeu classificar una imatge simplement proporcionant una etiqueta de text com ara "una foto d'un golden retriever" i mesurant la similitud, fins i tot si el model no va veure mai aquesta classe exacta durant l'entrenament. Els models de modalitat independent no poden fer això de manera natural. Un ResNet entrenat a ImageNet només coneix les seves mil classes d'entrenament, i un model de llenguatge no sap res sobre píxels. Per estendre'ls a noves tasques, normalment necessiteu dades etiquetades addicionals i ajustaments precisos.
Els models de modalitat independent sovint guanyen en punts de referència dins del seu domini natiu. Un model de detecció d'objectes dedicat com DETR o una xarxa de segmentació com SAM pot superar un model d'alineació generalista en tasques de predicció denses perquè estan optimitzats específicament per a la comprensió espacial. De la mateixa manera, els models de llenguatge gran encara dominen el raonament de text pur, la codificació i la generació de formularis llargs. Els models d'alineació intercanvien part d'aquest rendiment màxim d'una sola modalitat per la capacitat de connectar la comprensió visual i lingüística en un sistema unificat.
Entrenar un model d'alineació des de zero és car. L'execució d'entrenament original de CLIP va consumir una quantitat enorme de càlcul durant setmanes, i escalar a milers de milions de parells només augmenta aquest cost. Els models de modalitat independents es poden entrenar de manera més econòmica, especialment quan s'aprofiten les xarxes troncals preentrenades. Tanmateix, un cop entrenats, els models d'alineació són notablement eficients en la inferència per a la recuperació i la classificació, ja que un únic pas directe a través de cada codificador produeix incrustacions reutilitzables. Els models independents sovint necessiten capçals específics per a tasques o ajustaments precisos per a cada nova aplicació.
Els models d'alineació impulsen un ecosistema creixent d'aplicacions, com ara motors de cerca d'imatges, sistemes de moderació de contingut que fan coincidir elements visuals amb descripcions de text i els codificadors visuals darrere dels chatbots multimodals moderns. Els models de modalitat independent continuen sent els pilars de les pipelines d'IA de producció, gestionant l'OCR, el reconeixement facial, la comprensió de documents i la generació de text a escala. Cada cop més, els dos enfocaments convergeixen: sistemes com GPT-4V i Gemini utilitzen components de visió i llenguatge independents internament, però els alineen mitjançant un entrenament conjunt, cosa que esborra la línia entre aquests paradigmes.
Els models d'alineació poden entendre les imatges de la mateixa manera que ho fan els humans.
Aquests models aprenen associacions estadístiques entre característiques visuals i text, no una comprensió visual fonamentada. Poden relacionar imatges amb descripcions, però manquen de la veritable comprensió dels objectes, la causalitat o el raonament físic que els humans desenvolupen a través de l'experiència corporal.
Els models de modalitat independents són obsolets a l'era de la IA multimodal.
Lluny de ser obsolets, els models independents continuen sent l'eix vertebrador de la majoria de sistemes d'IA de producció. Sovint superen els models multimodals en tasques especialitzades i serveixen com a components dins d'arquitectures multimodals més grans.
CLIP i models similars poden substituir completament els classificadors d'imatges dedicats.
Tot i que els models d'alineació ofereixen una flexibilitat impressionant de zero shot, els classificadors especialitzats ajustats encara els superen en molts punts de referència, especialment en categories precises, imatges mèdiques o dominis amb distincions visuals subtils.
Els models d'alineació no necessiten gaires dades etiquetades perquè aprenen dels peus de foto.
Necessiten quantitats enormes de dades feblement aparellades, cosa que representa un tipus de supervisió diferent. La cura de centenars de milions de parells d'imatge-text nets és en si mateix un repte important d'enginyeria i ètica.
Els models d'alineació més grans sempre són millors.
L'escalat ajuda fins a cert punt, però els rendiments disminueixen, i models més petits com SigLIP han demostrat que els trucs d'entrenament i la qualitat de les dades poden igualar o superar l'escala de força bruta a un cost més baix.
Trieu models d'alineació imatge-text quan la vostra aplicació requereixi una interacció flexible i impulsada per la rapidesa entre la visió i el llenguatge, com ara la classificació de zero-shots, la recuperació d'imatges o la creació d'assistents multimodals. Opteu per models de modalitat independents quan necessiteu el màxim rendiment en una tasca d'una sola modalitat ben definida, tingueu dades d'entrenament aparellades limitades o vulgueu implementar sistemes especialitzats lleugers sense la sobrecàrrega de l'entrenament intermodal.
Aquest desglossament detallat explora les diferències fonamentals entre les actualitzacions de gràfics basades en esdeveniments i el processament de gràfics per lots dins de les arquitectures d'IA. Mentre que les pipelines basades en esdeveniments gestionen la transmissió en temps real i les mutacions irregulars de la topologia de xarxa, el processament per lots consolida els canvis en execucions computacionals pesades i programades per maximitzar el rendiment del sistema i la saturació del maquinari.
Les actualitzacions de models en temps real i el reentrenament de models per lots representen dos enfocaments fonamentalment diferents per mantenir els sistemes d'aprenentatge automàtic actualitzats. Els mètodes en temps real s'adapten instantàniament a les noves dades, mentre que el reentrenament per lots reconstrueix els models a intervals programats utilitzant conjunts de dades acumulats.
Les actualitzacions de la versió LLM se centren en la implementació de models de llenguatge més nous i capaços amb un raonament i unes funcions millorades, mentre que el manteniment de models antics manté els sistemes d'IA més antics funcionant de manera fiable. Les organitzacions han de sospesar la innovació contra l'estabilitat a l'hora de decidir entre actualitzar o mantenir els seus models existents.
Aquesta comparació analitza les opcions estratègiques en l'aprenentatge automàtic entre l'adaptació de domini, que transfereix coneixement d'un entorn d'origen etiquetat a un entorn de destinació diferent, i l'entrenament dins del domini, que crea models completament a partir de dades recollides de la configuració exacta de desplegament de destinació.
L'adaptació lingüística en la IA se centra en l'ensenyament de models per gestionar idiomes específics mitjançant l'afinament i l'aprenentatge per transferència, mentre que els sistemes d'IA agnòstics a l'idioma tenen com a objectiu processar qualsevol idioma sense formació específica per a l'idioma. Ambdós enfocaments aborden els reptes multilingües, però difereixen fonamentalment en l'arquitectura, les dades d'entrenament i el desplegament al món real.
