Multimodálne uvažovanie spracováva viacero typov údajov, ako sú text, obrázky a zvuk, spoločne, zatiaľ čo unimodálne uvažovanie sa zameriava na jeden vstupný tok. Každý prístup má odlišné silné stránky, pričom multimodálne systémy vynikajú v zložitých úlohách z reálneho sveta a unimodálne modely často poskytujú lepší výkon vo svojej špecializovanej oblasti.
Prístup umelej inteligencie, ktorý integruje a analyzuje viacero typov údajov, ako sú text, obrázky, zvuk a video súčasne.
Prístup umelej inteligencie, ktorý spracováva a zdôvodňuje v rámci jedného dátového typu, ako sú napríklad textové alebo obrázkové vstupy.
| Funkcia | Multimodálne uvažovanie | Unimodálne uvažovanie |
|---|---|---|
| Typy vstupov | Text, obrázky, zvuk, video alebo akákoľvek kombinácia | Jeden dátový typ, zvyčajne iba text alebo obrázky |
| Architektúra | Viaceré enkodéry spojené prostredníctvom medzimodálnej pozornosti | Jeden špecializovaný enkodér pre jednu modalitu |
| Tréningové údaje | Párové alebo zarovnané multimodálne súbory údajov | Veľké korpusy s jednou modalitou |
| Použitie v reálnom svete | Robotika, autonómne riadenie, lekárske zobrazovanie, porozumenie videu | Chatboty, preklad, sumarizácia textu, klasifikácia obrázkov |
| Výpočtové náklady | Vyššia vďaka viacerým enkodérom a fúznym vrstvám | Nižšie a efektívnejšie pre jednotlivé úlohy |
| Hĺbka špecializácie | Širšie, ale niekedy menej hlboké na modalitu | Hlbšie zvládnutie v rámci jedinej modality |
| Príklady modelov | GPT-4V, Gemini 1.5, CLIP, Flamingo, LLaVA | BERT, GPT-3, ResNet, originálny LLaMA, Whisper (iba zvuk) |
| Kognícia podobná ľudskej | Bližšie k prirodzenému ľudskému vnímaniu | Obmedzené na jeden senzorický kanál |
Multimodálne systémy uvažovania prijímajú niekoľko vstupných prúdov naraz a učia sa vzťahy medzi nimi, napríklad prepojenie písomnej otázky s relevantným obrázkom alebo grafom. Unimodálne systémy naopak pracujú v rámci jedného kanála a budujú si hlboké odborné znalosti v tejto jednej oblasti. Tento zásadný rozdiel formuje všetko od architektonických rozhodnutí až po druhy problémov, ktoré každý z nich dokáže efektívne vyriešiť.
Keď úloha zahŕňa zmiešané vstupy, ako napríklad diagnostikovanie lekárskeho vyšetrenia pri čítaní poznámok od pacienta, multimodálne uvažovanie jednoznačne víťazí, pretože dokáže zlúčiť oba signály do jednotnej odpovede. Unimodálne uvažovanie stále dominuje v čisto jazykových scenároch, ako je analýza právnych dokumentov, dopĺňanie kódu alebo klasifikácia sentimentu, kde by pridanie ďalších modalít iba pridalo šum bez zlepšenia presnosti.
Multimodálne modely vyžadujú starostlivo zoradené súbory údajov, kde je napríklad obrázok spárovaný s jeho popisom alebo videoklip s jeho prepisom. Vytváranie týchto súborov údajov je drahé a časovo náročné. Unimodálne modely sa dajú trénovať na rozsiahlych súboroch údajov z jedného zdroja, ako je Common Crawl pre text alebo ImageNet pre vizuálne dáta, ktoré sa ľahšie škálujú, ale model obmedzujú na jednu perspektívu.
Výskum opakovane ukazuje, že multimodálne modely prekonávajú unimodálne modely v úlohách vyžadujúcich medzimodálne porozumenie, ako je vizuálne odpovedanie na otázky alebo tvorba dokumentov pomocou umelej inteligencie. Unimodálne modely však často dosahujú rovnaké alebo lepšie výsledky ako multimodálne systémy v kritériách obmedzených na jednu modalitu, čiastočne preto, že dokážu všetky svoje parametre venovať jednému typu vstupu, namiesto toho, aby rozdeľovali kapacitu medzi niekoľko modelov.
Spúšťanie multimodálnej inferencie vyžaduje viac pamäte a výpočtového výkonu, pretože model musí kódovať viacero vstupov a spúšťať fúzne vrstvy. Unimodálne modely sú jednoduchšie a lacnejšie na nasadenie, čo ich robí atraktívnymi pre veľkoobjemové, úzke aplikácie. Pre organizácie s obmedzenými rozpočtami alebo požiadavkami na latenciu zostávajú unimodálne systémy často praktickou voľbou.
Trend v tomto odvetví jednoznačne smeruje k multimodálnym systémom, pričom veľké laboratóriá vydávajú modely, ktoré natívne spracovávajú text, obraz a zvuk. Napriek tomu je nepravdepodobné, že unimodálne modely zmiznú, pretože zostávajú najefektívnejšou možnosťou pre špecializované portfóliá a slúžia ako stavebné kamene pre väčšie multimodálne architektúry.
Multimodálne modely vždy prekonávajú unimodálne modely v každej úlohe.
V rámci kritérií obmedzených na jednu modalitu sa dobre vyladené unimodálne modely často vyrovnajú alebo prekonávajú multimodálne modely. Výhoda multimodálnych systémov sa prejavuje najmä vtedy, keď je potrebné porozumenie rôznym druhom dopravy, nie ako plošné zlepšenie všetkých úloh.
Unimodálne uvažovanie je zastarané a je nahrádzané.
Unimodálne modely zostávajú základom a sú široko používané v produkčných systémoch. Slúžia tiež ako komponenty kódovača v rámci väčších multimodálnych architektúr, takže tieto dva prístupy existujú súčasne, a nie jeden nahrádza druhý.
Multimodálna umelá inteligencia dokáže skutočne rozumieť obrázkom tak, ako to robia ľudia.
Súčasné multimodálne modely vykonávajú sofistikované porovnávanie vzorov naprieč modalitami, ale chýba im skutočné a podložené porozumenie. Dokážu presne opísať obraz, no stále zlyhávajú v priestorovom uvažovaní, počítaní alebo interpretácii abstraktných scén, s ktorými ľudia bez námahy manipulujú.
Pridanie ďalších modalít vždy zlepšuje inteligenciu modelu.
Pridávanie modalít bez správneho zarovnania alebo dostatočného množstva párových údajov môže v skutočnosti znížiť výkon v dôsledku šumovej fúzie. Úspešné multimodálne systémy vyžadujú starostlivý návrh architektúry a vysokokvalitné medzimodálne trénovacie údaje, nielen stohovanie väčšieho množstva vstupov.
Unimodálne modely vôbec nedokážu uvažovať, iba porovnávajú vzory.
Rozsiahle jazykové modely fungujúce unimodálne preukázali uvažovanie na základe reťazca myšlienok, riešenie matematických problémov a logickú inferenciu. Schopnosť uvažovania nie je obmedzená len na multimodálne systémy, hoci multimodálny kontext môže obohatiť určité druhy úloh uvažovania.
Multimodálne uvažovanie zvoľte vtedy, keď vaša aplikácia potrebuje rozumieť vzťahom medzi textom, obrázkami, zvukom alebo videom, najmä v oblastiach ako zdravotníctvo, robotika alebo moderovanie obsahu. Pre cielené úlohy s veľkým objemom v rámci jedného dátového typu, kde je efektívnosť, náklady a hĺbka špecializácie dôležitejšia ako povedomie o medzimodálnom vzťahu, držte sa unimodálneho uvažovania.
A/B testovanie v modelových službách smeruje prevádzku medzi konkurenčnými verziami modelov na meranie reálneho výkonu, zatiaľ čo nasadenie jedného modelu poskytuje jeden model všetkým používateľom. Tímy si medzi nimi vyberajú na základe tolerancie rizika, objemu prevádzky a potreby štatistického overenia pred úplným nasadením.
A/B testovanie pri vydávaní obsahu zahŕňa zavádzanie variácií pre rôzne segmenty publika a meranie výkonnosti, zatiaľ čo jednorazové vydania obsahu ponúkajú jednu verziu všetkým naraz. Každý prístup vyhovuje iným cieľom, pričom A/B testovanie uprednostňuje optimalizáciu na základe dát a jednorazové vydania uprednostňujú rýchlosť a jednoduchosť.
Toto porovnanie analyzuje strategické voľby v strojovom učení medzi adaptáciou domény, ktorá prenáša znalosti z označeného zdrojového prostredia do iného cieľového prostredia, a školením v rámci domény, ktoré vytvára modely výlučne na základe údajov získaných z presného cieľového nastavenia nasadenia.
Toto podrobné porovnanie skúma architektonické rozdiely, prevádzkové limity a reálny výkon adaptívnych inteligenčných systémov v porovnaní so systémami automatizácie s pevným správaním. Pozrieme sa na to, ako systémy, ktoré sa neustále učia z nových environmentálnych údajov, fungujú v porovnaní s rigidnými, predvídateľnými rámcami založenými na pravidlách.
Adaptívne vyhľadávanie dynamicky upravuje spôsob a aké informácie systém načítava na základe dotazu, zatiaľ čo statické vyhľadávacie kanály sa riadia pevnými pravidlami bez ohľadu na kontext. Obe poháňajú moderné aplikácie umelej inteligencie, ale výrazne sa líšia vo flexibilite, nákladoch a presnosti. Výber medzi nimi závisí od zložitosti pracovnej záťaže a rozpočtu.
