CLIP eta ALIGN bezalako irudi-testu lerrokatze ereduek irudikapen bisual-linguistiko bateratuak ikasten dituzte datu-multzo masibo parekatuetan entrenatuz, zero planoko transferentzia ahalbidetuz. Modalitate independenteko ereduek irudiak eta testua bereizita prozesatzen dituzte, askotan modalitate bakarreko zeregin espezializatuetan bikain arituz oinarri intermodalik gabe.
Sare neuronalak irudi-oinen datu parekatuetan entrenatu dira txertatze-espazio komun batean partekatutako irudikapen bisual eta testualak ikasteko.
Irudiak edo testua isolatuta kudeatzeko diseinatutako IA sistemak, bien arteko irudikapen gurutzatu partekatu bat ikasi gabe.
| Ezaugarria | Irudi-Testu Lerrokatze Ereduak | Modalitate Independenteen Ereduak |
|---|---|---|
| Prestakuntza Helburu Nagusia | Irudi-testu parekatze kontrastiboa | Modalitate bakarreko zereginen galera (sailkapena, hizkuntza modelatzea) |
| Prestakuntza Datuen Eskakizunak | Ehunka milioi edo milaka milioi irudi-testu parekatuen adibide | Modalitate bakarreko datu etiketatu edo etiketatu gabeko eskala handikoak |
| Zero-Shot gaitasunak | Testu-galderen bidez ikusten ez diren kategorietara zero jaurtiketa sendoa transferitzea | Prestakuntzan zehar ikusitako kategoria edo zereginetara mugatuta |
| Arkitektura-ikuspegia | Kodetzaile bikoitzak partekatutako txertatze-espazioan proiektatzen dira | Sarrera mota bakar baterako espezializatutako kodetzaile bakarra |
| Moda arteko ulermena | Ikusmenaren eta hizkuntzaren arteko arrazoiketa bateratua | Kanpoko fusioa edo hodi bat behar du modalitateak konektatzeko |
| Konputazio-kostua | Altua, datu-multzo parekatu masiboengatik eta lote-tamaina handiengatik | Oro har, baxuagoa, batez ere doikuntza fin unimodaletarako |
| Erabilera Kasu Onenak | Irudien berreskurapena, zero planoko sailkapena, bilaketa bisuala | Ikusmen-zeregin espezializatuak edo testu-sorkuntza eta arrazoiketa hutsa |
| Adibide ereduak | MOZTU, LERROKATU, SigLIP, Florence, BLIP | ResNet, ViT, GPT-4, LLaMA, BERT |
Irudi-testu lerrokatze ereduak kontzeptu bisualek eta haien deskribapen linguistikoek azpiko egitura semantiko bat partekatzen duten ideian oinarritzen dira. Ehunka milioi irudi-oin bikoteetan entrenatuz, bi sarrerak semantikoki lotutako elementuak elkartzen diren espazio partekatu batean mapatzen ikasten dute. Modalitate independenteko ereduek kontrako bidea hartzen dute, beren gaitasun guztia sarrera mota bat menperatzera bideratuz. Ikusmen-soilik den eredu batek, sare neuronal konboluzional bat bezalakoak, ezaugarri bisual hierarkikoak ikasten ditu, eta hizkuntza-eredu batek, berriz, giza testuaren eredu estatistikoak ikasten ditu. Bietako batek ere ez du beste modalitatea ulertzen saiatzen entrenamenduan zehar.
Lerrokatze-ereduek benetan distira egiten duten tokia zero-shot orokortzean da. Irudiak eta testua espazio berean kodetzen dituztenez, irudi bat sailka dezakezu "golden retriever baten argazkia" bezalako testu-etiketa bat emanez eta antzekotasuna neurtuz, nahiz eta ereduak ez duen inoiz klase hori ikusi entrenamenduan zehar. Modalitate independenteko ereduek ezin dute hau modu naturalean egin. ImageNet-en entrenatutako ResNet batek bere mila entrenamendu-klaseak baino ez ditu ezagutzen, eta hizkuntza-eredu batek ez daki ezer pixelei buruz. Zeregin berrietara zabaltzeko, normalean etiketatutako datu gehigarriak eta doikuntza finak behar dituzu.
Modalitate-eredu independenteek askotan irabazten dituzte beren jatorrizko domeinuko erreferentzietan. DETR bezalako objektuak detektatzeko eredu dedikatu batek edo SAM bezalako segmentazio-sare batek lerrokatze-eredu orokor bat gainditu dezake iragarpen-zeregin trinkoetan, ulermen espazialerako bereziki optimizatuta baitaude. Era berean, hizkuntza-eredu handiek oraindik ere testu-arrazoiketa hutsa, kodeketa eta formatu luzeen sorkuntza menderatzen dituzte. Lerrokatze-ereduek modalitate bakarreko errendimendu goren horren zati bat trukatzen dute ulermen bisuala eta linguistikoa sistema bateratu batean lotzeko gaitasunaren truke.
Lerrokatze-eredu bat hutsetik entrenatzea garestia da. CLIPen jatorrizko entrenamendu-exekuzioak kalkulu-zenbaki izugarriak kontsumitu zituen asteetan zehar, eta milaka milioi bikotetara eskalatzeak kostu hori areagotzen du soilik. Modalitate-eredu independenteak merkeago entrenatu daitezke, batez ere aurrez entrenatutako bizkarrezurrak aprobetxatzen direnean. Hala ere, behin entrenatuta, lerrokatze-ereduak oso eraginkorrak dira berreskurapenerako eta sailkapenerako inferentzian, kodetzaile bakoitzetik aurrerako pasabide bakar batek berrerabilgarriak diren txertatzeak sortzen baititu. Eredu independenteek askotan zeregin-buru espezifikoak edo doikuntza finak behar dituzte aplikazio berri bakoitzerako.
Lerrokatze-ereduek aplikazioen ekosistema gero eta handiagoa elikatzen dute, besteak beste, irudi-bilaketa-motorrak, irudiak testu-deskribapenekin lotzen dituzten edukien moderazio-sistemak eta txatbot multimodal modernoen atzean dauden kodetzaile bisualak. Modalitate-eredu independenteak dira ekoizpen-IAren bideen oinarria, OCR, aurpegi-ezagutza, dokumentuen ulermena eta testu-sorkuntza eskala handian kudeatuz. Bi ikuspegiak gero eta gehiago ari dira bat egiten: GPT-4V eta Gemini bezalako sistemek ikusmen- eta hizkuntza-osagai independenteak erabiltzen dituzte barnean, baina entrenamendu bateratuaren bidez lerrokatzen dituzte, paradigma hauen arteko lerroa lausotuz.
Lerrokatze-ereduek irudiak gizakiek bezala uler ditzakete.
Modelo hauek ezaugarri bisualen eta testuaren arteko lotura estatistikoak ikasten dituzte, ez ulermen bisual oinarritua. Irudiak deskribapenekin lotu ditzakete, baina objektuen benetako ulermena, kausalitatea edo gizakiek esperientzia gorpuztuaren bidez garatzen duten arrazoiketa fisikoa falta zaie.
Modalitate independenteko ereduak zaharkituta daude IA multimodalaren aroan.
Zaharkituta ez dauden arren, modelo independenteak ekoizpen-IA sistema gehienen bizkarrezurra dira oraindik. Askotan, modelo multimodalak gainditzen dituzte zeregin espezializatuetan eta arkitektura multimodal handiagoen osagai gisa balio dute.
CLIP eta antzeko modeloek irudi sailkatzaile dedikatuak erabat ordezkatu ditzakete.
Lerrokatze-ereduek zero jaurtiketa-malgutasun ikusgarria eskaintzen duten arren, sailkatzaile espezializatu finduek oraindik ere gainditzen dituzte erreferentzia-puntu askotan, batez ere kategoria zehatzetan, irudi medikoetan edo bereizketa bisual sotilak dituzten domeinuetan.
Lerrokatze-ereduek ez dute etiketatutako datu askorik behar, azpitituluetatik ikasten baitute.
Datu ahulki parekatuen kopuru izugarriak behar dituzte, eta hori gainbegiratze mota desberdina da. Ehunka milioi irudi-testu bikote garbi kudeatzea bera ingeniaritza eta etika erronka handia da.
Lerrokatze eredu handiagoak beti dira hobeak.
Eskalatzeak puntu bateraino laguntzen du, baina etekinak gutxitzen dira, eta SigLIP bezalako eredu txikiagoek erakutsi dute entrenamendu-trikimailuak eta datuen kalitatea indar gordinaren eskala berdindu edo gainditu dezaketela kostu txikiagoan.
Aukeratu irudi-testu lerrokatze ereduak zure aplikazioak ikusmenaren eta hizkuntzaren arteko elkarrekintza malgu eta bizkorra behar duenean, hala nola zero planoko sailkapena, irudien berreskurapena edo laguntzaile multimodalak eraikitzea. Aukeratu modalitate independenteko ereduak ondo definitutako modalitate bakarreko zeregin batean errendimendu gorena behar duzunean, entrenamendu datu parekatuak dituzunean edo sistema espezializatu arinak zabaldu nahi dituzunean entrenamendu multimodalaren gainkargarik gabe.
Edukien argitalpenetan A/B probak aldaerak publiko segmentu desberdinetara zabaltzea eta errendimendua neurtzea dakar, behin-behineko edukien argitalpenek, berriz, bertsio bakarra guztiei aldi berean bidaltzen diete. Ikuspegi bakoitzak helburu desberdinak ditu, A/B probak datuetan oinarritutako optimizazioa lehenesten duelarik eta behin-behineko argitalpenek abiadura eta sinpletasuna lehenesten dituztelarik.
Modeloen zerbitzatzean A/B probak lehiakideen modeloen arteko trafikoa bideratzen du benetako munduko errendimendua neurtzeko, eta modelo bakarreko hedapenak, berriz, modelo bakarra bidaltzen die erabiltzaile guztiei. Taldeek bien artean aukeratzen dute arrisku-tolerantziaren, trafiko-bolumenaren eta guztiz zabaldu aurretik baliozkotze estatistikoaren beharraren arabera.
Adimen artifizialaren laguntzaileek elkarrizketa-elkarrekintzan, laguntza emozionalean eta laguntza egokitzailean jartzen dute arreta, produktibitate-aplikazio tradizionalek, berriz, zereginen kudeaketa egituratua, lan-fluxuak eta eraginkortasun-tresnak lehenesten dituzten bitartean. Konparaketak zereginetarako diseinatutako software zurrunetik produktibitatea interakzio natural eta gizakiaren antzekoarekin eta testuinguru-laguntzarekin uztartzen dituzten sistema egokitzaileetara igarotzea nabarmentzen du.
Adimen artifizialaren eta automatizazioaren arteko desberdintasun nagusiak azaltzen dituen konparazioa da hau, nola funtzionatzen duten, zein arazo ebazten dituzten, egokitasuna, konplexutasuna, kostuak eta enpresa-erabilera errealen kasuak aztertuz.
Azterketa zehatz honek IA bidezko sormena —non algoritmoen ereduen sintesiak ideien sorkuntza eta gauzatze teknikoa bizkortzen dituen— gizakiaren sormen hutsarekin alderatzen du, zeina erabat sortzen den ahultasun pertsonaletatik, sakontasun emozionaletik eta nahitako arau-hausteetatik. Tresna artifizialek sorkuntza demokratizatzen eta bolumena handitzen duten bitartean, benetako giza arteak bizitako esperientzian oinarritzen da lana esanahi sozial sakon batez hornitzeko.
