Multimodalinis samprotavimas apdoroja kelis duomenų tipus, tokius kaip tekstas, vaizdai ir garsas, kartu, o unimodalinis samprotavimas sutelkia dėmesį į vieną įvesties srautą. Kiekvienas metodas turi savų stipriųjų pusių: multimodalinės sistemos puikiai atlieka sudėtingas realaus pasaulio užduotis, o unimodaliniai modeliai dažnai užtikrina geresnį našumą savo specializacijos srityje.
Dirbtinio intelekto metodas, kuris vienu metu integruoja ir analizuoja kelių tipų duomenis, pvz., tekstą, vaizdus, garso įrašus ir vaizdo įrašus.
Dirbtinio intelekto metodas, kuris apdoroja ir pateikia argumentus vieno tipo duomenų pagrindu, pvz., tik teksto arba tik vaizdo įvestimis.
| Funkcija | Multimodalinis samprotavimas | Unimodalinis samprotavimas |
|---|---|---|
| Įvesties tipai | Tekstas, vaizdai, garsas, vaizdo įrašas arba bet koks jų derinys | Vieno tipo duomenys, paprastai tik tekstas arba vaizdai |
| Architektūra | Keli kodavimo įrenginiai sujungti naudojant kryžminio dėmesio funkciją | Vienas specializuotas kodavimo įrenginys vienam modalumui |
| Mokymo duomenys | Suporuoti arba suderinti multimodaliniai duomenų rinkiniai | Dideli vieno modalumo korpusai |
| Realaus pasaulio naudojimas | Robotai, autonominis vairavimas, medicininis vaizdavimas, vaizdo įrašų supratimas | Pokalbių robotai, vertimas, teksto santraukų rašymas, vaizdų klasifikavimas |
| Skaičiavimo kaina | Didesnis dėl kelių kodavimo įrenginių ir suliejimo sluoksnių | Žemesnis ir efektyvesnis atliekant atskiras užduotis |
| Specializacijos gylis | Platesnis, bet kartais mažiau gilus kiekvienam modalumui | Gilesnis meistriškumas naudojant vieną modalumą |
| Pavyzdiniai modeliai | GPT-4V, Gemini 1.5, CLIP, Flamingo, LLaVA | BERT, GPT-3, ResNet, originalus LLaMA, Whisper (tik garsas) |
| Žmogaus tipo pažinimas | Arčiau natūralaus žmogaus suvokimo | Apribota vienu jutimo kanalu |
Multimodalinės samprotavimo sistemos vienu metu priima kelis įvesties srautus ir mokosi jų tarpusavio ryšių, pavyzdžiui, susieja rašytinį klausimą su atitinkamu paveikslėliu ar diagrama. Priešingai, unimodalinės sistemos veikia viename kanale ir kaupia gilias žinias toje vienoje srityje. Šis esminis skirtumas lemia viską – nuo architektūros pasirinkimų iki problemų, kurias kiekviena sistema gali efektyviai išspręsti.
Kai užduotis apima mišrius įvesties duomenis, pavyzdžiui, diagnozuojant medicininę skenavimo informaciją skaitant paciento įrašus, multimodalinis samprotavimas akivaizdžiai laimi, nes jis gali sujungti abu signalus į vieningą atsakymą. Unimodalinis samprotavimas vis dar dominuoja grynosios kalbos scenarijuose, tokiuose kaip teisinių dokumentų analizė, kodo užbaigimas ar nuotaikų klasifikavimas, kur papildomų modalumų pridėjimas tik padidintų triukšmą, nepagerindamas tikslumo.
Multimodaliniams modeliams reikia kruopščiai suderintų duomenų rinkinių, pavyzdžiui, paveikslėlis susiejamas su jo antrašte arba vaizdo klipas su jo transkripcija. Šių duomenų rinkinių kūrimas yra brangus ir užima daug laiko. Unimodaliniai modeliai gali būti apmokyti naudojant didelius vieno šaltinio duomenų rinkinius, tokius kaip „Common Crawl“ tekstui arba „ImageNet“ regėjimui, kuriuos lengviau keisti, bet kurie apriboja modelį viena perspektyva.
Tyrimai nuolat rodo, kad multimodaliniai modeliai pranoksta unimodalinius modelius atliekant užduotis, kurioms reikalingas tarpmodalinis supratimas, pvz., vizualiai atsakant į klausimus ar atliekant dokumentų dirbtinį intelektą. Tačiau unimodaliniai modeliai dažnai prilygsta arba pranoksta multimodalines sistemas atliekant lyginamuosius testus, apsiribojančius vienu modalumu, iš dalies dėl to, kad jie gali visus savo parametrus skirti vieno tipo įvestims, o ne skaidyti pajėgumus į kelias rūšis.
Daugiarūšės išvados vykdymas reikalauja daugiau atminties ir apdorojimo galios, nes modelis turi koduoti kelis įvesties duomenis ir vykdyti suliejimo sluoksnius. Unimodaliniai modeliai yra paprastesni ir pigesni diegti, todėl jie patrauklūs didelio masto, siauroms programoms. Organizacijoms, turinčioms ribotą biudžetą arba delsos reikalavimus, unimodalinės sistemos dažnai išlieka praktišku pasirinkimu.
Pramonės tendencija akivaizdžiai yra multimodalinių sistemų link, o didžiosios laboratorijos išleidžia modelius, kurie automatiškai apdoroja tekstą, vaizdą ir garsą. Nepaisant to, unimodaliniai modeliai greičiausiai neišnyks, nes jie išlieka efektyviausiu specializuotų kanalų pasirinkimu ir yra didesnių multimodalinių architektūrų pagrindas.
Multimodaliniai modeliai kiekvienoje užduotyje visada pranoksta unimodalinius modelius.
Vieno modalumo lyginamuosiuose testuose gerai suderinti unimodaliniai modeliai dažnai prilygsta arba pranoksta multimodalinius. Multimodalinių sistemų pranašumas išryškėja būtent tada, kai reikalingas tarpmodalinis supratimas, o ne kaip bendras visų užduočių patobulinimas.
Unimodalinis samprotavimas yra pasenęs ir yra keičiamas.
Unimodaliniai modeliai išlieka pagrindiniai ir plačiai naudojami gamybinėse sistemose. Jie taip pat naudojami kaip kodavimo komponentai didesnėse multimodalinėse architektūrose, todėl abu metodai egzistuoja kartu, o ne vienas pakeičia kitą.
Multimodalinis dirbtinis intelektas gali iš tikrųjų suprasti vaizdus taip, kaip tai daro žmonės.
Dabartiniai multimodaliniai modeliai atlieka sudėtingą skirtingų modalumų modelių atitikimą, tačiau jiems trūksta tikro pagrįsto supratimo. Jie gali tiksliai apibūdinti vaizdą, tačiau vis tiek nesugeba mąstyti erdviškai, skaičiuoti ar interpretuoti abstrakčių scenų, su kuriomis žmonės susidoroja be jokių pastangų.
Pridėjus daugiau modalumų, modelio intelektas visada pagerėja.
Pridėjus modalumų be tinkamo suderinimo arba nepakankamai suporuotų duomenų, dėl triukšmingo suliejimo gali sumažėti našumas. Sėkmingoms multimodalinėms sistemoms reikalingas kruopštus architektūros projektavimas ir aukštos kokybės tarpmodaliniai mokymo duomenys, o ne tik daugiau įvesties duomenų kaupimas.
Unimodaliniai modeliai visiškai negali samprotauti, jie tik atitinka šablonus.
Dideli kalbos modeliai, veikiantys vienmodaliniu būdu, pademonstravo mąstymo grandinės principu pagrįstą samprotavimą, matematinį problemų sprendimą ir loginių išvadų darymą. Samprotavimo gebėjimas nėra būdingas tik multimodalinėms sistemoms, nors multimodalinis kontekstas gali praturtinti tam tikras samprotavimo užduotis.
Rinkitės daugiamodalinį samprotavimą, kai jūsų programai reikia suprasti ryšius tarp teksto, vaizdų, garso ar vaizdo įrašų, ypač tokiose srityse kaip sveikatos priežiūra, robotika ar turinio moderavimas. Naudokite vienmodalinį samprotavimą, kai atliekate tikslias, didelės apimties užduotis viename duomenų tipe, kur efektyvumas, kaina ir specializacijos gylis yra svarbesni nei supratimas apie skirtingų tipų sąsajas.
„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.
„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.
„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.
„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.
A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.
