Ikusmen-hizkuntza ereduek irudiak eta testua batera prozesatzen dituzte, galdera bisualak erantzuteko eta irudien azpitituluak jartzeko moduko zereginak ahalbidetuz. Hizkuntza puruko ereduek testuan soilik jartzen dute arreta, idazketan, arrazoiketan eta sarrera bisualik gabeko elkarrizketa-zereginetan bikainak izanik.
Adimen artifizialaren sistemak, sarrera bisual eta testualetatik edukia elkarrekin ulertu eta sortzen dutenak, ikusmen artifiziala hizkuntza naturalaren prozesamenduarekin lotuz.
Testuan oinarritutako zereginetarako soilik diseinatutako IA sistemak, idatzizko edukien corpus handietan trebatuak giza hizkuntza ulertzeko eta sortzeko.
| Ezaugarria | Ikusmen-Hizkuntza Ereduak | Hizkuntza Puruko Ereduak |
|---|---|---|
| Sarrera Modalitateak | Irudiak eta testua (multimodala) | Testua bakarrik (unimodala) |
| Oinarrizko Arkitektura | Ikusmen kodetzailea + hizkuntza eredua fusio gurutzatuarekin | Transformadoreetan oinarritutako hizkuntza-eredua soilik |
| Prestakuntza Datuak | Irudi-testu bikoteak, azpitituluak, ikusmenezko QA datu-multzoak, gehi testu-corpusak | Web, liburu eta kodetik ateratako testu-corpus handiak |
| Gaitasun nagusiak | Irudien azpitituluak, arrazoiketa bisuala, dokumentuen azterketa, txat multimodala | Testuen sorrera, arrazoiketa, itzulpena, kodea, elkarrizketa |
| Adibide ereduak | GPT-4V, Gemini 1.5, LLaVA, Qwen-VL, Claude 3.5 Soneto | GPT-4, Llama 3, Mistral, Claude 3.5, Phi-3 |
| Konputazio-kostua | Ikusmen-prozesatzeko gastuengatik handiagoa | Txikiagoa, testu-oinferentziarako optimizatua |
| Erreferentzia Ohikoak | MMMU, VQA, MMStar, MathVista, DocVQA | MMLU, HumanEval, GSM8K, HellaSwag, BIG-Bench |
| Erabilera Kasu Onenak | Ikusmen-analisia, irisgarritasuna, dokumentuen adimen artifiziala, irudietan oinarritutako laguntzaileak | Idazketa, kodeketa, analisia, txatbotak, ezagutza berreskuratzea |
Ikusmen-hizkuntza ereduek prozesatzeko osagai bisual bat konbinatzen dute, normalean Vision Transformer edo CLIP estiloko kodetzaile bat, hizkuntza eredu batekin. Bi zati hauek proiekzio geruzen edo arreta gurutzatuko mekanismoen bidez lotuta daude, eta horiei esker, ereduak ezaugarri bisualak testu-irudikapenekin lerrokatu ditzake. Hizkuntza puruko ereduek osagai bisuala erabat saltatzen dute, testu tokenizatua prozesatzen duten transformadore geruzetan soilik oinarrituz. Horrek diseinu sinpleagoa egiten du, baina oso optimizatuta daude eredu linguistikoetarako.
Ikusmen-hizkuntza eredu bat entrenatzeko, irudi-testu datu parekatuak behar dira, hala nola, azpitituludun argazkiak, datu-multzo bisual didaktikoak eta oharpenak dituzten dokumentuen irudiak. Ereduak pixelak hitzekin eta kontzeptuekin lotzen ikasten du. Hizkuntza puruko ereduak testu-corpus erraldoietan entrenatzen dira, gramatika, datuak eta arrazoiketa-ereduak ikasiz hurrengo tokenaren iragarpenaren bidez. Bi ikuspegiek eskala handiko autogainbegiratutako ikaskuntza erabiltzen dute, baina ikusmen-hizkuntza ereduek lerrokatze-entrenamendu gehigarria behar dute bi modalitateak lotzeko.
Ikusmen-hizkuntza ereduak nabarmentzen dira testuinguru bisuala garrantzitsua denean, hala nola, grafiko bat deskribatzea, irudi bateko testua irakurtzea edo argazki bati buruzko galderei erantzutea. Hizkuntza puruko ereduak dira nagusi testu-astunak dituzten zereginetan, hala nola saiakera idaztea, kodea sortzea eta sarrera bisualik gabeko arrazoiketa logikoa. Interesgarria da, sistema moderno asko multimodalak direla lehenespenez, eta horrek esan nahi du bereizketa lausotzen ari dela laborategi nagusiek ikusmena beren eredu nagusietan integratzen duten heinean.
Enpresek ikusmen-hizkuntza ereduak erabiltzen dituzte dokumentuen automatizaziorako, bilaketa bisualerako, irisgarritasun tresnetarako eta pantaila-argazkiak edo produktuen irudiak barne hartzen dituzten bezeroarentzako laguntzarako. Hizkuntza eredu hutsak txatbotak, edukiak sortzeko tresnak, kode laguntzaileak eta enpresen bilaketa sistemak elikatzen ditu. Horien artean aukeratzea zure lan-fluxuak eduki bisuala barne hartzen duen ala ez araberakoa da. Testu hutsezko lan-fluxuetarako, hizkuntza ereduak azkarragoak eta merkeagoak dira exekutatzeko.
Ikusmen-hizkuntza ereduek memoria eta konputazio gehiago behar dituzte, testuarekin batera dimentsio handiko irudi-datuak prozesatzen baitituzte. Horrek inferentzia-kostu handiagoak eta erantzun-denbora apur bat motelagoak dakartza. Hizkuntza puruko ereduak eraginkorragoak dira, batez ere Llama 3 8B edo Mistral 7B bezalako pisu irekiko modelo txikiagoetan exekutatzen direnean. Bolumen handiko testu-aplikazioetarako, kostu-aldea nabarmena izan daiteke eskalan.
Ikusmen-hizkuntza ereduek batzuetan irudiei buruzko xehetasunak haluzinatzen dituzte edo zailtasunak izaten dituzte arrazoiketa bisual finekin, hala nola objektu txikiak zenbatzearekin. Hizkuntza puruko ereduek ezin dituzte irudiak ikusi, eta horrek mugatu egiten du ikusmen-sarrera behar duen edozein zereginetarako duten erabilgarritasuna. Bietako batek ere ez du mundua gizakiek bezala ulertzen, baina ikusmen-hizkuntza ereduek hurbilago daude hizkuntza errealitate bisualean oinarrituz.
Ikusmen-hizkuntza ereduek irudiak gizakiek bezala ikusi eta ulertu ditzakete.
Irudiak pixelen eredu gisa prozesatzen dituzte eta testuarekin lotura estatistikoak ikasten dituzte entrenamenduan zehar. Benetako ulermen bisualik ez dute eta aurkarien irudiek engaina ditzakete edo gizaki batek erraz hautemango lituzkeen xehetasunak galdu.
Hizkuntza puruko ereduak zaharkituta geratzen ari dira IA multimodalaren ondorioz.
Hizkuntza-eredu hutsak dira IA aplikazio gehienen bizkarrezurra, eta askotan eraginkorragoak dira testu-soilik egiten duten zereginetarako. Sistema askok hizkuntza-ereduak erabiltzen dituzte ikusmen-ereduekin batera, horiek ordezkatu beharrean.
Ikusmen-hizkuntza eredua irudi sailkatzaile bat duen hizkuntza eredu bat besterik ez da.
Ikusmen-hizkuntza eredu modernoek arreta sofistikatua erabiltzen dute modalitate anitzekoarekin eta entrenamendu artikulatuarekin, ez sailkapen soilarekin. Ikusmenaren eta hizkuntzaren osagaiak sakonki integratuta daude ikasitako lerrokatze geruzen bidez.
Hizkuntza puruaren ereduek ezin dute inola ere arrazoitu kontzeptu bisualei buruz.
Testu nahikoa erabiliz trebatutako hizkuntza-ereduek deskribapenen bidez soilik garatu dezakete ikusmen-ezagutza harrigarria. Arte-estiloei buruz eztabaidatu, eszenak deskribatu eta kontzeptu bisualei buruz arrazoitu dezakete irudirik prozesatu gabe.
Ikusmen-hizkuntza ereduek beti gainditzen dituzte hizkuntza puruko ereduak arrazoiketa-zereginetan.
Testu-arrazonamendu hutsaren erreferentzietan, ikusmen-hizkuntza ereduek testu-soilik duten parekoen antzera edo zertxobait okerrago funtzionatzen dute askotan. Gaitasun bisuala gehitzeak ez du automatikoki arrazoiketa logikoa edo matematikoa hobetzen.
Aukeratu ikusmen-hizkuntza eredu bat zure aplikazioak irudiak, dokumentuak edo eduki bisuala testuarekin batera interpretatu behar badu. Erabili hizkuntza eredu huts bat testu-fluxuetarako, non abiadura, kostua eta arrazoiketa linguistiko sakona garrantzitsuenak diren. Inplementazio moderno askok bietatik etekina ateratzen dute, ikusmen-hizkuntza ereduak erabiliz zeregin bisualetarako eta hizkuntza eredu hutsak beste guztiarentzat.
Edukien argitalpenetan A/B probak aldaerak publiko segmentu desberdinetara zabaltzea eta errendimendua neurtzea dakar, behin-behineko edukien argitalpenek, berriz, bertsio bakarra guztiei aldi berean bidaltzen diete. Ikuspegi bakoitzak helburu desberdinak ditu, A/B probak datuetan oinarritutako optimizazioa lehenesten duelarik eta behin-behineko argitalpenek abiadura eta sinpletasuna lehenesten dituztelarik.
Modeloen zerbitzatzean A/B probak lehiakideen modeloen arteko trafikoa bideratzen du benetako munduko errendimendua neurtzeko, eta modelo bakarreko hedapenak, berriz, modelo bakarra bidaltzen die erabiltzaile guztiei. Taldeek bien artean aukeratzen dute arrisku-tolerantziaren, trafiko-bolumenaren eta guztiz zabaldu aurretik baliozkotze estatistikoaren beharraren arabera.
Adimen artifizialaren laguntzaileek elkarrizketa-elkarrekintzan, laguntza emozionalean eta laguntza egokitzailean jartzen dute arreta, produktibitate-aplikazio tradizionalek, berriz, zereginen kudeaketa egituratua, lan-fluxuak eta eraginkortasun-tresnak lehenesten dituzten bitartean. Konparaketak zereginetarako diseinatutako software zurrunetik produktibitatea interakzio natural eta gizakiaren antzekoarekin eta testuinguru-laguntzarekin uztartzen dituzten sistema egokitzaileetara igarotzea nabarmentzen du.
Adimen artifizialaren eta automatizazioaren arteko desberdintasun nagusiak azaltzen dituen konparazioa da hau, nola funtzionatzen duten, zein arazo ebazten dituzten, egokitasuna, konplexutasuna, kostuak eta enpresa-erabilera errealen kasuak aztertuz.
Azterketa zehatz honek IA bidezko sormena —non algoritmoen ereduen sintesiak ideien sorkuntza eta gauzatze teknikoa bizkortzen dituen— gizakiaren sormen hutsarekin alderatzen du, zeina erabat sortzen den ahultasun pertsonaletatik, sakontasun emozionaletik eta nahitako arau-hausteetatik. Tresna artifizialek sorkuntza demokratizatzen eta bolumena handitzen duten bitartean, benetako giza arteak bizitako esperientzian oinarritzen da lana esanahi sozial sakon batez hornitzeko.
