Arrazoiketa multimodalak datu mota ugari prozesatzen ditu batera, hala nola testua, irudiak eta audioa, eta arrazoiketa unimodalak, berriz, sarrera-jario bakarrean jartzen du arreta. Ikuspegi bakoitzak indargune bereziak ditu, sistema multimodalak munduko benetako zeregin konplexuetan bikainak direlarik eta modelo unimodalak askotan errendimendu zorrotzagoa eskaintzen dutelarik beren espezialitate-eremuan.
Testua, irudiak, audioa eta bideoa bezalako hainbat datu mota aldi berean integratzen eta arrazoitzen dituen IA ikuspegi bat.
Datu mota bakar baten barruan prozesatu eta arrazoitzen duen IA ikuspegi bat, hala nola testu soileko edo irudi soileko sarrerak.
| Ezaugarria | Arrazoiketa multimodala | Arrazoiketa Unimodala |
|---|---|---|
| Sarrera motak | Testua, irudiak, audioa, bideoa edo edozein konbinazio | Datu mota bakarra, normalean testua edo irudiak bakarrik |
| Arkitektura | Hainbat kodetzaile arreta gurutzatuaren bidez fusionatuta | Modalitate bakar baterako kodetzaile espezializatu bakarra |
| Prestakuntza Datuak | Datu-multzo multimodal parekatuak edo lerrokatuak | Modalitate bakarreko corpus handiak |
| Mundu errealeko erabilera | Robotika, gidatze autonomoa, irudi medikoak, bideoen ulermena | Txatbotak, itzulpena, testu laburpena, irudien sailkapena |
| Konputazio-kostua | Altuagoa hainbat kodetzaile eta fusio geruza direla eta | Zeregin bakarretarako baxuagoa eta eraginkorragoa |
| Espezializazio Sakonera | Modalitate bakoitzeko zabalagoa baina batzuetan sakonagoa ez | Modalitate bakarrean maisutasun sakonagoa |
| Adibide ereduak | GPT-4V, Gemini 1.5, CLIP, Flamingo, LLaVA | BERT, GPT-3, ResNet, jatorrizko LLaMA, Whisper (audioa bakarrik) |
| Gizakiaren antzeko kognizioa | Gizakien pertzepzio naturalaren hurbilago | Zentzumen-kanal bakar batera mugatuta |
Arrazoiketa multimodaleko sistemek hainbat sarrera-jario onartzen dituzte aldi berean eta haien arteko erlazioak ikasten dituzte, hala nola, idatzizko galdera bat irudi edo grafiko garrantzitsu batekin lotzea. Sistema unimodalek, aldiz, kanal bakarrean lan egiten dute eta espezializazio sakona eraikitzen dute domeinu horretan. Oinarrizko desberdintasun honek arkitektura-aukeretatik hasi eta bakoitzak eraginkortasunez konpon ditzakeen arazo motetaraino dena baldintzatzen du.
Zeregin batek sarrera mistoak dituenean, adibidez, pazientearen oharrak irakurtzen diren bitartean eskaneatu mediko bat diagnostikatzea, arrazoiketa multimodalak argi eta garbi irabazten du, bi seinaleak erantzun bateratu batean fusionatu ditzakeelako. Arrazoiketa unimodala oraindik ere nagusi da hizkuntza hutseko eszenatokietan, hala nola dokumentu legalen analisia, kodea osatzea edo sentimenduen sailkapena, non modalitate gehigarriak gehitzeak zarata gehituko lukeen zehaztasuna hobetu gabe.
Modelo multimodalek arretaz lerrokatutako datu-multzoak behar dituzte, non, adibidez, irudi bat bere azpitituluarekin edo bideo-klip bat bere transkripzioarekin parekatzen den. Datu-multzo hauek eraikitzea garestia eta denbora asko eskatzen duen da. Modelo unimodalek iturri bakarreko datu-multzo masiboetan entrenatu daitezke, hala nola Common Crawl testurako edo ImageNet ikusmenerako, eskalatzeko errazagoak direnak baina modeloa ikuspegi bakarrera mugatzen dutenak.
Ikerketek etengabe erakusten dute modelo multimodalek modelo unimodalak gainditzen dituztela ulermen intermodala behar duten zereginetan, hala nola galdera bisualen erantzunak edo dokumentuen adimen artifiziala. Hala ere, modelo unimodalek askotan sistema multimodalak berdintzen edo gainditzen dituzte modalitate bakar batera mugatutako erreferentzia-puntuetan, neurri batean parametro guztiak sarrera mota bakar bati dedikatu diezazkioketelako, edukiera hainbaten artean banatu beharrean.
Inferentzia multimodala exekutatzeak memoria eta prozesatzeko ahalmen gehiago behar ditu, ereduak sarrera anitz kodetu eta fusio geruzak exekutatu behar dituelako. Eredu unimodalak argalagoak eta merkeagoak dira zabaltzeko, eta horrek erakargarri bihurtzen ditu bolumen handiko aplikazio estuetarako. Aurrekontu estuak edo latentzia-eskakizunak dituzten erakundeentzat, sistema unimodalak aukera praktikoa izaten jarraitzen dute.
Industriaren joera argi eta garbi sistema multimodaletara doa, laborategi handiek testua, ikusmena eta audioa modu natiboan kudeatzen dituzten modeloak kaleratzen dituztelarik. Hala ere, ez dirudi modelo unimodalak desagertuko direnik, hodi espezializatuetarako aukerarik eraginkorrena izaten jarraitzen baitute eta arkitektura multimodal handiagoetarako eraikuntza-bloke gisa balio baitute.
Eredu multimodalek beti gainditzen dituzte eredu unimodalak zeregin guztietan.
Modalitate bakar batera mugatutako erreferentzia-puntuetan, ondo doitutako eredu unimodalak askotan modelo multimodalak berdintzen edo gainditzen dituzte. Sistema multimodalen abantaila bereziki agertzen da ulermen gurutzatua beharrezkoa denean, ez zeregin guztietan hobekuntza orokor gisa.
Arrazoiketa unimodala zaharkituta dago eta ordezkatzen ari da.
Modelo unimodalak oinarrizkoak izaten jarraitzen dute eta ekoizpen-sistemetan asko erabiltzen dira. Arkitektura multimodal handiagoetan kodetzaile osagai gisa ere balio dute, beraz, bi ikuspegiak elkarrekin bizi dira, bata bestea ordezkatu beharrean.
IA multimodalak irudiak gizakiek bezala uler ditzake.
Gaur egungo eredu multimodalek modalitateen arteko parekatze sofistikatua egiten dute, baina ez dute benetako ulermen oinarririk. Irudi bat zehaztasunez deskriba dezakete, baina hala ere huts egiten dute arrazoiketa espazialean, zenbaketa egiten edo gizakiek ahaleginik gabe kudeatzen dituzten eszena abstraktuak interpretatzen.
Modalitate gehiago gehitzeak beti hobetzen du modelo baten adimena.
Modalitateak behar bezala lerrokatu gabe edo parekatutako datu nahikorik gabe gehitzeak errendimendua kaltetu dezake fusio zaratatsuaren bidez. Sistema multimodal arrakastatsuek arkitektura-diseinu zaindua eta kalitate handiko entrenamendu-datu gurutzatuak behar dituzte, ez sarrera gehiago pilatzea soilik.
Modelo unimodalek ezin dute batere arrazoitu, ereduak bat etortzea besterik ez dute egiten.
Modu unimodalean funtzionatzen duten hizkuntza-eredu handiek pentsamendu-kate bidezko arrazoiketa, arazo matematikoak ebazteko gaitasuna eta inferentzia logikoa erakutsi dituzte. Arrazoitzeko gaitasuna ez da sistema multimodalen esklusiboa, nahiz eta testuinguru multimodalak arrazoiketa-zeregin mota batzuk aberastu ditzakeen.
Aukeratu arrazoibide multimodala zure aplikazioak testu, irudi, audio edo bideo arteko erlazioak ulertu behar dituenean, batez ere osasungintza, robotika edo edukien moderazioa bezalako arloetan. Mantendu arrazoibide unimodala datu mota bakarreko bolumen handiko zeregin fokalizatuetarako, non eraginkortasuna, kostua eta espezializazio sakontasuna kontzientzia gurutzatua baino garrantzitsuagoak diren.
Edukien argitalpenetan A/B probak aldaerak publiko segmentu desberdinetara zabaltzea eta errendimendua neurtzea dakar, behin-behineko edukien argitalpenek, berriz, bertsio bakarra guztiei aldi berean bidaltzen diete. Ikuspegi bakoitzak helburu desberdinak ditu, A/B probak datuetan oinarritutako optimizazioa lehenesten duelarik eta behin-behineko argitalpenek abiadura eta sinpletasuna lehenesten dituztelarik.
Modeloen zerbitzatzean A/B probak lehiakideen modeloen arteko trafikoa bideratzen du benetako munduko errendimendua neurtzeko, eta modelo bakarreko hedapenak, berriz, modelo bakarra bidaltzen die erabiltzaile guztiei. Taldeek bien artean aukeratzen dute arrisku-tolerantziaren, trafiko-bolumenaren eta guztiz zabaldu aurretik baliozkotze estatistikoaren beharraren arabera.
Adimen artifizialaren laguntzaileek elkarrizketa-elkarrekintzan, laguntza emozionalean eta laguntza egokitzailean jartzen dute arreta, produktibitate-aplikazio tradizionalek, berriz, zereginen kudeaketa egituratua, lan-fluxuak eta eraginkortasun-tresnak lehenesten dituzten bitartean. Konparaketak zereginetarako diseinatutako software zurrunetik produktibitatea interakzio natural eta gizakiaren antzekoarekin eta testuinguru-laguntzarekin uztartzen dituzten sistema egokitzaileetara igarotzea nabarmentzen du.
Adimen artifizialaren eta automatizazioaren arteko desberdintasun nagusiak azaltzen dituen konparazioa da hau, nola funtzionatzen duten, zein arazo ebazten dituzten, egokitasuna, konplexutasuna, kostuak eta enpresa-erabilera errealen kasuak aztertuz.
Azterketa zehatz honek IA bidezko sormena —non algoritmoen ereduen sintesiak ideien sorkuntza eta gauzatze teknikoa bizkortzen dituen— gizakiaren sormen hutsarekin alderatzen du, zeina erabat sortzen den ahultasun pertsonaletatik, sakontasun emozionaletik eta nahitako arau-hausteetatik. Tresna artifizialek sorkuntza demokratizatzen eta bolumena handitzen duten bitartean, benetako giza arteak bizitako esperientzian oinarritzen da lana esanahi sozial sakon batez hornitzeko.
