Tarpmodalinis suderinimas moko dirbtinio intelekto sistemas sujungti ir versti informaciją tarp skirtingų duomenų tipų, tokių kaip vaizdai, tekstas ir garsas, o vieno domeno savybių mokymasis sutelktas į modelių išgavimą iš vieno konkretaus duomenų tipo. Abu metodai formuoja, kaip šiuolaikinis dirbtinis intelektas supranta ir apdoroja informaciją, tačiau jie iš esmės tarnauja skirtingiems tikslams.
Mašininio mokymosi metodas, kuris susieja ir sujungia įvairių duomenų modalumų, tokių kaip regėjimas, kalba ir garsas, reprezentacijas.
Tradicinė mašininio mokymosi paradigma, orientuota į prasmingų reprezentacijų mokymąsi iš vieno tipo duomenų, pvz., vaizdų, teksto ar garso.
| Funkcija | Kryžminis modalinis lygiavimas | Vieno domeno funkcijų mokymasis |
|---|---|---|
| Pirminė duomenų įvestis | Keli modalumai (vaizdas, tekstas, garsas, vaizdo įrašas) | Vienas modalumas (tik vienas duomenų tipas) |
| Pagrindinis tikslas | Suderinkite reprezentacijas skirtingose modalybėse bendroje erdvėje | Išskirti diskriminacinius požymius vieno modalumo ribose |
| Tipiniai mokymo duomenys | Suporuoti arba nesuporuoti multimodaliniai duomenų rinkiniai | Dideli paženklinti vieno modalumo duomenų rinkiniai |
| Įprastos architektūros | Dvigubi kodavimo įrenginiai, transformatoriais pagrįsti suliejimo modeliai, kontrastinės sistemos | CNN, RNN, transformatoriai, autoenkoderiai |
| Pagrindiniai naudojimo atvejai | Teksto konvertavimas į paveikslėlį, vaizdiniai atsakymai į klausimus, kelių rūšių paieška | Vaizdų klasifikavimas, kalbos atpažinimas, teksto nuotaikų analizė |
| Nulinio smūgio galimybė | Stiprus dėl bendros semantinės erdvės | Ribotas, paprastai reikia perkvalifikuoti naujoms klasėms |
| Skaičiavimo sudėtingumas | Didesnis dėl kelių kodavimo įrenginių ir lygiavimo tikslų | Žemiau, sutelktas į vieną duomenų srautą |
| Pavyzdiniai modeliai | CLIP, ALIGN, Florence, AudioCLIP | ResNet, BERT, wav2vec, VGG |
Tarpmodalinis suderinimas supratimą traktuoja kaip skirtingų jutiminių kanalų sujungimo problemą, panašiai kaip žmonės susieja tai, ką mato, su tuo, ką girdi ar skaito. Priešingai, mokymasis vienos srities požymių srityje kiekvieną modalumą traktuoja kaip atskirą problemą, optimizuodamas vien tik našumą to tipo duomenų ribose. Filosofinis atotrūkis tarp jų yra didelis: vienas siekia vieningos prasmės, kitas – specializuoto įvaldymo.
Tarpmodalinėms sistemoms paprastai reikia suporuotų pavyzdžių, pavyzdžiui, paveikslėlio, susieto su jo antrašte, arba bent jau kartu esančių duomenų skirtingose modalybėse. Vienos srities mokymuisi paprastai reikia didelių kiekių paženklintų duomenų viename sraute, pavyzdžiui, tūkstančių paženklintų nuotraukų vaizdų klasifikavimui. Dėl to tarpmodalinį mokymą sudėtingiau nustatyti, bet dažnai jis tampa lankstesnis, kai įdiegiamas.
Vieno domeno modeliai paprastai pranoksta tarpmodalines sistemas siauruose savo specializacijos etalonuose, nes jie gali skirti visą savo pajėgumą vienai užduočiai. Tarpmodaliniai modeliai aukoja dalį didžiausio tikslumo dėl puikaus apibendrinimo, dažnai atlikdami užduotis, kurioms jie niekada nebuvo aiškiai apmokyti. Pavyzdžiui, CLIP gali klasifikuoti tūkstančius sąvokų niekada nematydamas paženklintų tų kategorijų pavyzdžių.
Skirtingų sričių derinimas pasižymi generatyviniu dirbtiniu intelektu, multimedijos paieška ir pritaikymo neįgaliesiems įrankiais, kurie verčia tarp pojūčių, pavyzdžiui, generuojant vaizdų aprašymus silpnaregiams. Vieno domeno ypatybių mokymasis dominuoja tokiose srityse kaip medicininė vaizdavimo diagnostika, kur rentgeno spindulių analizė naudoja modelius, apmokytus tik pagal radiologinius duomenis. Daugelyje gamybos sistemų iš tikrųjų derinami abu šie dalykai: vieno domeno kodavimo įrenginys tiekia duomenis į skirtingų sričių derinimo sluoksnį.
Tarpmodalinis mokymas reikalauja daugiau skaičiavimo, atminties ir inžinerinių pastangų, nes vienu metu reikia valdyti kelis kodavimo įrenginius ir lygiavimo nuostolius. Vieno domeno mokymas yra paprastesnis, nes yra gerai žinomi srautai ir gausu iš anksto apmokytų kontrolinių taškų. Tačiau tarpmodaliniai modeliai dažnai sumažina užduočiai būdingo mokymo poreikį vėliau, o tai gali kompensuoti jų pradines išlaidas.
Tarpmodalinio derinimo modeliai gali iš tikrųjų suprasti kelis modalumus taip, kaip tai daro žmonės.
Šie modeliai mokosi statistinių atitikmenų tarp modalumų, o ne tikro supratimo. Jie puikiai tinka atitikmenų derinimui, bet gali nepavykti atlikti užduočių, reikalaujančių samprotavimo tarp modalumų, pavyzdžiui, skaičiuoti objektus paveikslėlyje pagal tekstinę užduotį.
Vieno domeno savybių mokymasis yra pasenęs daugiarūšio dirbtinio intelekto amžiuje.
Vieno domeno modeliai išlieka labai svarbūs, nes jie dažnai naudojami kaip požymių ištraukėjai tarpmodalinėse sistemose. Pažangiausi multimodaliniai modeliai paprastai remiasi galingais vieno domeno kodavimo įrenginiais.
Tarpmodaliniam lygiavimui kiekvienam pavyzdžiui reikalingi idealiai pažymėti suporuoti duomenys.
Šiuolaikiniai metodai, tokie kaip CLIP, naudoja triukšmingas iš interneto išgautas vaizdų ir tekstų poras ir vis tiek išmoksta efektyvų lygiavimą. Silpna priežiūra ir kontrastiniai tikslai gali išgauti prasmingus atitikmenis net ir iš netobulų duomenų.
Vieno domeno modeliai negali būti apibendrinti į naujas kategorijas be permokymo.
Nors tradiciniai vieno domeno klasifikatoriai čia sunkiai funkcionuoja, šiuolaikiniai savarankiškai prižiūrimi metodai, tokie kaip „SimCLR“ ir „DINO“, išmoksta reprezentacijas, kurios gana gerai perkeliamos į naujas klases su minimaliu tikslinimu.
Tarpmodaliniai modeliai visada pranoksta vienos srities modelius, nes jie mato daugiau duomenų.
Siauruose vieno modalumo etalonuose specializuoti vienos srities modeliai dažnai pranoksta tarpmodalines sistemas. Tarpmodalinių modelių pranašumas slypi lankstume ir apibendrinamumo galimybėse, o ne neapdorotame vienos užduoties tikslume.
Rinkitės tarpmodalinį lygiavimą, kai jūsų programai reikia sujungti skirtingus duomenų tipus, pvz., derinti vaizdus su tekstu arba generuoti turinį skirtingose modalybėse. Rinkitės vieno domeno ypatybių mokymąsi, kai jums reikia maksimalaus tikslumo atliekant aiškiai apibrėžtą užduotį viename duomenų tipe, pvz., klasifikuojant medicininius skenavimus arba transkribuojant kalbą. Praktiškai dauguma šiuolaikinių dirbtinio intelekto sistemų gauna naudos derinant abu: specializuotus kodavimo įrenginius, tiekiančius duomenis į bendrą lygiavimo erdvę.
„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.
„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.
„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.
„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.
A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.
