Attēlu un teksta izlīdzināšanas modeļi, piemēram, CLIP un ALIGN, apgūst kopīgas vizuāli lingvistiskās reprezentācijas, apmācoties milzīgos pārī veidotos datu kopumos, nodrošinot nulles kadra pārsūtīšanu. Neatkarīgi modalitātes modeļi apstrādā attēlus un tekstu atsevišķi, bieži vien izceļoties specializētos vienas modalitātes uzdevumos bez starpmodāla pamatojuma.
Neironu tīkli, kas apmācīti ar pārī savienotiem attēlu parakstu datiem, lai apgūtu koplietotas vizuālās un tekstuālās reprezentācijas kopīgā iegulšanas telpā.
Mākslīgā intelekta sistēmas, kas paredzētas attēlu vai teksta apstrādei atsevišķi, neapgūstot kopīgu starpmodālu attēlojumu starp abiem.
| Funkcija | Attēlu un teksta izlīdzināšanas modeļi | Neatkarīgie modalitātes modeļi |
|---|---|---|
| Galvenais apmācības mērķis | Kontrastīvā attēla un teksta saskaņošana | Vienas modalitātes uzdevumu zudums (klasifikācija, valodas modelēšana) |
| Apmācības datu prasības | Simtiem miljonu līdz miljardiem pārī savienotu attēlu un tekstu piemēru | Liela mēroga nemarķēti vai marķēti dati vienas modalitātes ietvaros |
| Nulles šāviena iespējas | Spēcīga nulles kadra pārsūtīšana uz neredzamām kategorijām, izmantojot teksta uzvednes | Ierobežots līdz kategorijām vai uzdevumiem, kas redzami apmācības laikā |
| Arhitektūras pieeja | Divkāršie kodētāji, kas projicē koplietojamā iegulšanas telpā | Viens kodētājs, kas specializējas vienam ieejas tipam |
| Starpmodālā izpratne | Dzimtā kopīgā spriešana, izmantojot redzi un valodu | Nepieciešama ārēja saplūšana vai cauruļvads, lai savienotu modalitātes |
| Aprēķina izmaksas | Augsts, pateicoties milzīgajiem pārotajiem datu kopumiem un lieliem partiju izmēriem | Parasti zemāks, īpaši vienmodālai precizēšanai |
| Labākie lietošanas gadījumi | Attēlu atgūšana, nulles kadru klasifikācija, vizuālā meklēšana | Specializēti redzes uzdevumi vai tīra teksta ģenerēšana un spriešana |
| Piemēru modeļi | KLIP, IZLĪDZINĀT, SigLIP, Florence, BLIP | ResNet, ViT, GPT-4, LLaMA, BERT |
Attēlu un teksta izlīdzināšanas modeļi ir veidoti, balstoties uz ideju, ka vizuālajiem jēdzieniem un to lingvistiskajiem aprakstiem ir kopīga semantiskā struktūra. Apmācot simtiem miljonu attēlu un parakstu pāru, tie iemācās kartēt abus ievades datus kopīgā iegulšanas telpā, kur semantiski saistītie elementi grupējas kopā. Neatkarīgi modalitātes modeļi iet pretējo ceļu, koncentrējot visu savu jaudu uz viena veida ievades datu apgūšanu. Tikai redzei paredzēts modelis, piemēram, konvolucionālais neironu tīkls, apgūst hierarhiskas vizuālās iezīmes, savukārt valodas modelis apgūst cilvēka teksta statistiskos modeļus. Neviens no tiem nemēģina izprast otru modalitāti apmācības laikā.
Kur izlīdzināšanas modeļi patiešām izceļas, ir nulles kadra vispārināšana. Tā kā tie kodē attēlus un tekstu vienā telpā, attēlu var klasificēt, vienkārši norādot teksta etiķeti, piemēram, "zeltainā retrīvera fotoattēls", un izmērot līdzību, pat ja modelis apmācības laikā nekad nav redzējis šo konkrēto klasi. Neatkarīgi modalitātes modeļi to nevar izdarīt dabiski. ImageNet apmācīts ResNet zina tikai savas tūkstoš apmācības klases, un valodas modelis neko nezina par pikseļiem. Lai tos paplašinātu jauniem uzdevumiem, parasti ir nepieciešami papildu marķēti dati un precīza pielāgošana.
Neatkarīgi modalitātes modeļi bieži vien uzvar salīdzinošajā novērtēšanā savā dzimtajā domēnā. Īpašs objektu noteikšanas modelis, piemēram, DETR, vai segmentācijas tīkls, piemēram, SAM, var pārspēt vispārēju izlīdzināšanas modeli blīvas prognozēšanas uzdevumos, jo tie ir īpaši optimizēti telpiskai izpratnei. Līdzīgi lieli valodu modeļi joprojām dominē tīra teksta spriešanā, kodēšanā un garo formu ģenerēšanā. Izlīdzināšanas modeļi daļu no šīs maksimālās vienas modalitātes veiktspējas apmaina pret spēju savienot vizuālo un lingvistisko izpratni vienā vienotā sistēmā.
Izlīdzināšanas modeļa apmācība no nulles ir dārga. CLIP sākotnējā apmācības palaišana vairāku nedēļu laikā patērēja milzīgus skaitļošanas resursus, un mērogošana līdz miljardiem pāru tikai palielina šīs izmaksas. Neatkarīgus modalitātes modeļus var apmācīt lētāk, īpaši, izmantojot iepriekš apmācītus mugurkaulus. Tomēr pēc apmācības izlīdzināšanas modeļi ir ievērojami efektīvi secinājumu izdarīšanā izguvei un klasifikācijai, jo viena caurlaide caur katru kodētāju rada atkārtoti izmantojamus iegulumus. Neatkarīgiem modeļiem bieži vien ir nepieciešamas uzdevumam specifiskas galviņas vai precīza regulēšana katrai jaunai lietojumprogrammai.
Izlīdzināšanas modeļi nodrošina aizvien pieaugošu lietojumprogrammu ekosistēmu, tostarp attēlu meklētājprogrammas, satura moderācijas sistēmas, kas saskaņo vizuālos elementus ar teksta aprakstiem, un vizuālos kodētājus, kas ir mūsdienu multimodālo tērzēšanas robotu pamatā. Neatkarīgi modalitātes modeļi joprojām ir ražošanas mākslīgā intelekta cauruļvadu darba zirgi, apstrādājot OCR, sejas atpazīšanu, dokumentu izpratni un teksta ģenerēšanu plašā mērogā. Arvien vairāk abas pieejas saplūst: tādas sistēmas kā GPT-4V un Gemini iekšēji izmanto neatkarīgus redzes un valodas komponentus, bet tos saskaņo, izmantojot kopīgu apmācību, tādējādi sapludinot robežu starp šīm paradigmām.
Izlīdzināšanas modeļi var saprast attēlus tāpat kā cilvēki.
Šie modeļi apgūst statistiskas saistības starp vizuālajām iezīmēm un tekstu, nevis pamatotu vizuālo izpratni. Tie var saskaņot attēlus ar aprakstiem, bet tiem trūkst patiesas izpratnes par objektiem, cēloņsakarībām vai fizisko spriešanu, ko cilvēki attīsta, gūstot iemiesotu pieredzi.
Neatkarīgie modalitātes modeļi multimodālā mākslīgā intelekta laikmetā ir novecojuši.
Neatkarīgi modeļi nebūt nav novecojuši, tie joprojām ir vairuma ražošanas mākslīgā intelekta sistēmu mugurkauls. Tie bieži vien pārspēj multimodālos modeļus specializētos uzdevumos un kalpo kā komponenti lielākās multimodālās arhitektūrās.
CLIP un līdzīgi modeļi var pilnībā aizstāt specializētus attēlu klasifikatorus.
Lai gan izlīdzināšanas modeļi piedāvā iespaidīgu nulles kadra elastību, precīzi noregulēti speciālistu klasifikatori joprojām tos pārspēj daudzos etalonos, īpaši smalkgraudainās kategorijās, medicīniskajā attēlveidošanā vai jomās ar smalkām vizuālām atšķirībām.
Izlīdzināšanas modeļiem nav nepieciešams daudz marķētu datu, jo tie mācās no parakstiem.
Viņiem ir nepieciešams milzīgs apjoms vāji pārotu datu, kas ir cita veida uzraudzība. Simtiem miljonu tīru attēlu un tekstu pāru kūrēšana pati par sevi ir liels inženiertehnisks un ētisks izaicinājums.
Lielāki izlīdzināšanas modeļi vienmēr ir labāki.
Mērogošana palīdz līdz noteiktam brīdim, taču atdeve samazinās, un mazāki modeļi, piemēram, SigLIP, ir parādījuši, ka apmācības triki un datu kvalitāte var sasniegt vai pārspēt brutāla spēka mērogu ar zemākām izmaksām.
Izvēlieties attēla un teksta izlīdzināšanas modeļus, ja jūsu lietojumprogrammai ir nepieciešama elastīga, uz uzdevumiem balstīta mijiedarbība starp redzi un valodu, piemēram, nulles kadra klasifikācija, attēlu izguve vai multimodālu asistentu veidošana. Izvēlieties neatkarīgus modalitātes modeļus, ja jums ir nepieciešama maksimāla veiktspēja precīzi definētā vienas modalitātes uzdevumā, ja jums ir ierobežoti pāru apmācības dati vai vēlaties izvietot vieglas specializētas sistēmas bez starpmodālās apmācības papildu izmaksām.
A/B testēšana modeļu apkalpošanā novirza trafiku starp konkurējošām modeļu versijām, lai novērtētu reālo veiktspēju, savukārt viena modeļa ieviešana visiem lietotājiem nosūta vienu modeli. Komandas izvēlas starp tiem, pamatojoties uz riska toleranci, trafika apjomu un statistiskās validācijas nepieciešamību pirms pilnīgas ieviešanas.
A/B testēšana satura izlaidumos ietver variāciju ieviešanu dažādiem auditorijas segmentiem un veiktspējas mērīšanu, savukārt vienreizēji satura izlaidumi vienlaikus nodrošina vienu versiju visiem lietotājiem. Katra pieeja atbilst dažādiem mērķiem, A/B testēšanai dodot priekšroku uz datiem balstītai optimizācijai, bet vienreizējiem izlaidumiem prioritāte ir ātrums un vienkāršība.
Adaptīvā izguve dinamiski pielāgo, kā un kādu informāciju sistēma izgūst, pamatojoties uz vaicājumu, savukārt statiskās izguves cauruļvadi ievēro fiksētus noteikumus neatkarīgi no konteksta. Abas nodrošina modernas mākslīgā intelekta lietojumprogrammas, taču tās ievērojami atšķiras pēc elastības, izmaksām un precizitātes. Izvēle starp tām ir atkarīga no darba slodzes sarežģītības un budžeta.
Šajā detalizētajā salīdzinājumā tiek pētītas adaptīvo intelekta dzinēju arhitektūras atšķirības, darbības ierobežojumi un reālā veiktspēja salīdzinājumā ar fiksētas uzvedības automatizācijas sistēmām. Mēs aplūkojam, kā sistēmas, kas nepārtraukti mācās no jauniem vides datiem, atbilst stingrām, paredzamām, uz noteikumiem balstītām sistēmām.
Aģentu apmācība vidēs ietver mācīšanos, izmantojot reāllaika mijiedarbību ar simulētu vai fizisku vidi, savukārt bezsaistes datu kopu apmācība balstās uz iepriekš apkopotiem datiem bez papildu piekļuves videi. Abas pieejas apmāca mašīnmācīšanās modeļus, taču būtiski atšķiras tas, kā aģenti apkopo pieredzi un uzlabo veiktspēju.
