Moda arteko lerrokatzeak IA sistemak entrenatzen ditu informazioa datu mota desberdinen artean konektatzeko eta itzultzeko, hala nola irudien, testuaren eta audioaren artean, domeinu bakarreko ezaugarrien ikaskuntzak, berriz, datu mota espezifiko batetik ereduak ateratzean jartzen du arreta. Bi ikuspegiek IA modernoak informazioa nola ulertzen eta prozesatzen duen moldatzen dute, baina funtsean helburu desberdinak dituzte.
Makina-ikaskuntzako ikuspegi bat, hainbat datu-modalitatetan (ikusmena, hizkuntza eta audioa) irudikapenak mapatzen eta konektatzen dituena.
Makina-ikaskuntzaren paradigma tradizionala, datu mota bakar batetik, hala nola irudietatik, testutik edo audiotik soilik, irudikapen esanguratsuak ikastean oinarritzen dena.
| Ezaugarria | Moda arteko lerrokatzea | Domeinu bakarreko ezaugarrien ikaskuntza |
|---|---|---|
| Datu-sarrera nagusia | Hainbat modalitate (irudia, testua, audioa, bideoa) | Modalitate bakarra (datu mota bakarra) |
| Helburu nagusia | Lerrokatu irudikapenak modalitateen artean espazio partekatu batean | Modalitate bakar baten barruan ezaugarri bereizgarriak atera |
| Ohiko Prestakuntza Datuak | Datu-multzo multimodal parekatuak edo parekatu gabeak | Modalitate bakarreko datu-multzo etiketatu handiak |
| Arkitektura Ohikoak | Kodetzaile bikoitzak, transformadoreetan oinarritutako fusio ereduak, esparru kontrastatiboak | CNNak, RNNak, transformadoreak, autokodetzaileak |
| Erabilera Kasu Nagusiak | Testutik irudira sortzea, galdera bisualen erantzuna, berreskurapen gurutzatua | Irudien sailkapena, ahots-ezagutza, testu-sentimenduen azterketa |
| Zero-jaurtiketa gaitasuna | Indartsua, espazio semantiko partekatuagatik | Mugatua, normalean klase berrietarako birziklatzea eskatzen du |
| Konputazio-konplexutasuna | Altuagoa, hainbat kodetzaile eta lerrokatze-helburu direla eta | Behekoa, datu-jario bakarrean zentratua |
| Adibide ereduak | KLIPA, LERROKATU, Florentzia, AudioKLIPA | ResNet, BERT, wav2vec, VGG |
Moda arteko lerrokatzeak ulermena zentzumen-kanal desberdinak lotzeko arazo gisa hartzen du, gizakiek ikusten dutena entzuten edo irakurtzen dutenarekin lotzen duten bezala. Domeinu bakarreko ezaugarrien ikaskuntzak, aldiz, modalitate bakoitza bere arazo isolatu gisa hartzen du, datu-mota horren barruko errendimendua soilik optimizatuz. Bien arteko aldea filosofikoa nabarmena da: batek esanahi bateratua bilatzen du, besteak maisutasun espezializatua.
Sistema gurutzatuek normalean adibide parekatuak behar dituzte, hala nola, bere azalpenarekin bat datorren irudi bat, edo gutxienez modalitate ezberdinetan batera agertzen diren datuak. Domeinu bakarreko ikaskuntzak normalean datu etiketatu kopuru handiak behar ditu korronte berean, hala nola, milaka argazki etiketatu irudiak sailkatzeko. Horrek entrenamendu gurutzatua konplexuagoa egiten du konfiguratzeko, baina askotan malguagoa da behin zabaldu ondoren.
Domeinu bakarreko modeloek sistema gurutzatuak baino errendimendu hobea izaten dute beren espezialitateko erreferentzia estuetan, beren gaitasun guztia zeregin bakar bati eskain diezaioketelako. Eredu gurutzatuek zehaztasun maximoaren zati bat galtzen dute orokortze bikaina lortzeko, askotan esplizituki inoiz entrenatu ez ziren zereginak kudeatuz. Adibidez, CLIPek milaka kontzeptu sailka ditzake kategoria horien etiketatutako adibideak ikusi gabe.
Moda arteko lerrokatzea distira egiten du IA sortzailean, multimedia bilaketan eta zentzumenen artean itzultzen diren irisgarritasun tresnetan, hala nola ikusmen urritasuna duten erabiltzaileentzako irudien deskribapenak sortzean. Domeinu bakarreko ezaugarrien ikaskuntza nagusi da irudi medikoen diagnostikoan bezalako arloetan, non X izpien analisiak datu erradiologikoetan soilik entrenatutako modeloetatik etekina ateratzen duen. Ekoizpen-sistema askok biak konbinatzen dituzte: domeinu bakarreko kodetzaile batek moda arteko lerrokatze-geruza bat elikatzen du.
Moda arteko entrenamenduak kalkulu, memoria eta ingeniaritza ahalegin handiagoa eskatzen du, hainbat kodetzaile eta lerrokatze-galera aldi berean kudeatzen ari zarelako. Domeinu bakarreko entrenamendua zuzenagoa da, ondo ezarritako hodiekin eta aurrez entrenatutako kontrol-puntu ugarirekin. Hala ere, moda arteko ereduek askotan murrizten dute geroago zeregin espezifikoetarako entrenamenduaren beharra, eta horrek hasierako kostua konpentsatu dezake.
Moda arteko lerrokatze-ereduek gizakiek bezala uler ditzakete modalitate anitz.
Modelo hauek modalitateen arteko korrespondentzia estatistikoak ikasten dituzte benetako ulermena baino. Ereduen parekatzean bikainak dira, baina modalitateen arteko arrazoiketa behar duten zereginetan huts egin dezakete, hala nola testu-gonbita batean oinarrituta irudi bateko objektuak zenbatzean.
Domeinu bakarreko ezaugarrien ikaskuntza zaharkituta dago IA multimodalaren aroan.
Domeinu bakarreko ereduak funtsezkoak dira oraindik, askotan sistema gurutzatuetan ezaugarrien erauzle gisa balio baitute. Punta-puntako eredu multimodalek normalean domeinu bakarreko kodetzaile indartsuak erabiltzen dituzte oinarri gisa.
Moda arteko lerrokatze-lanak adibide bakoitzerako parekatutako datu perfektuki etiketatuak behar ditu.
CLIP bezalako ikuspegi modernoek sarean zarata handiz bildutako irudi-testu bikoteak erabiltzen dituzte eta hala ere lerrokatze eraginkorrak ikasten dituzte. Gainbegiratze ahulak eta helburu kontrastatzaileek korrespondentzia esanguratsuak atera ditzakete datu inperfektuetatik ere.
Domeinu bakarreko ereduak ezin dira kategoria berrietara orokortu berriro entrenatu gabe.
Domeinu bakarreko sailkatzaile tradizionalek arazoak dituzte hemen, SimCLR eta DINO bezalako autogainbegiratutako ikuspegi modernoek klase berrietara nahiko ondo transferitzen diren irudikapenak ikasten dituzte, doikuntza fin gutxirekin.
Moda gurutzatuko ereduek beti gainditzen dituzte domeinu bakarreko ereduak, datu gehiago ikusten dituztelako.
Modalitate bakarreko erreferentzia estuetan, domeinu bakarreko eredu espezializatuek askotan sistema gurutzatuak gainditzen dituzte. Eredu gurutzatuen abantaila malgutasunean eta orokortzean datza, ez zeregin bakarreko zehaztasun gordina.
Aukeratu lerrokatze gurutzatua zure aplikazioak datu mota desberdinak lotu behar dituenean, hala nola irudiak testuarekin lotzea edo modalitateen artean edukia sortzea. Aukeratu domeinu bakarreko ezaugarrien ikaskuntza datu mota bakar baten barruan ondo definitutako zeregin batean zehaztasun handiena behar duzunean, hala nola eskaneatu medikoak sailkatzea edo hizkera transkribatzea. Praktikan, IA sistema moderno gehienek biak konbinatzearen onura dute: kodetzaile espezializatuak lerrokatze espazio partekatu batera elikatzen direnak.
Edukien argitalpenetan A/B probak aldaerak publiko segmentu desberdinetara zabaltzea eta errendimendua neurtzea dakar, behin-behineko edukien argitalpenek, berriz, bertsio bakarra guztiei aldi berean bidaltzen diete. Ikuspegi bakoitzak helburu desberdinak ditu, A/B probak datuetan oinarritutako optimizazioa lehenesten duelarik eta behin-behineko argitalpenek abiadura eta sinpletasuna lehenesten dituztelarik.
Modeloen zerbitzatzean A/B probak lehiakideen modeloen arteko trafikoa bideratzen du benetako munduko errendimendua neurtzeko, eta modelo bakarreko hedapenak, berriz, modelo bakarra bidaltzen die erabiltzaile guztiei. Taldeek bien artean aukeratzen dute arrisku-tolerantziaren, trafiko-bolumenaren eta guztiz zabaldu aurretik baliozkotze estatistikoaren beharraren arabera.
Adimen artifizialaren laguntzaileek elkarrizketa-elkarrekintzan, laguntza emozionalean eta laguntza egokitzailean jartzen dute arreta, produktibitate-aplikazio tradizionalek, berriz, zereginen kudeaketa egituratua, lan-fluxuak eta eraginkortasun-tresnak lehenesten dituzten bitartean. Konparaketak zereginetarako diseinatutako software zurrunetik produktibitatea interakzio natural eta gizakiaren antzekoarekin eta testuinguru-laguntzarekin uztartzen dituzten sistema egokitzaileetara igarotzea nabarmentzen du.
Adimen artifizialaren eta automatizazioaren arteko desberdintasun nagusiak azaltzen dituen konparazioa da hau, nola funtzionatzen duten, zein arazo ebazten dituzten, egokitasuna, konplexutasuna, kostuak eta enpresa-erabilera errealen kasuak aztertuz.
Azterketa zehatz honek IA bidezko sormena —non algoritmoen ereduen sintesiak ideien sorkuntza eta gauzatze teknikoa bizkortzen dituen— gizakiaren sormen hutsarekin alderatzen du, zeina erabat sortzen den ahultasun pertsonaletatik, sakontasun emozionaletik eta nahitako arau-hausteetatik. Tresna artifizialek sorkuntza demokratizatzen eta bolumena handitzen duten bitartean, benetako giza arteak bizitako esperientzian oinarritzen da lana esanahi sozial sakon batez hornitzeko.
