Modelet e rreshtimit imazh-tekst si CLIP dhe ALIGN mësojnë përfaqësime të përbashkëta vizualo-gjuhësore duke u trajnuar në grupe të dhënash masive të çiftëzuara, duke mundësuar transferimin me zero goditje. Modelet e pavarura të modalitetit përpunojnë imazhet dhe tekstin veçmas, shpesh duke shkëlqyer në detyra të specializuara me një modalitet të vetëm pa bazë ndërmodale.
Rrjete nervore të trajnuara mbi të dhëna të çiftëzuara të mbishkrimeve të imazheve për të mësuar përfaqësime të përbashkëta vizuale dhe tekstuale në një hapësirë të përbashkët ngulitjeje.
Sisteme të inteligjencës artificiale të dizajnuara për të trajtuar ose imazhe ose tekst në mënyrë të izoluar, pa mësuar një përfaqësim të përbashkët ndërmodal midis të dyjave.
| Veçori | Modelet e Rreshtimit Imazh-Tekst | Modele të Modalitetit të Pavarur |
|---|---|---|
| Objektivi kryesor i trajnimit | Përputhje kontrastive imazh-tekst | Humbja e detyrës me një modalitet të vetëm (klasifikimi, modelimi gjuhësor) |
| Kërkesat për të Dhënat e Trajnimit | Qindra miliona deri në miliarda shembuj të çiftëzuar imazh-tekst | Të dhëna të paetiketuara ose të etiketuara në shkallë të gjerë brenda një modaliteti |
| Aftësitë Zero-Shot | Transferim i fortë me zero goditje në kategoritë e papara nëpërmjet mesazheve me tekst | I kufizuar në kategori ose detyra të para gjatë trajnimit |
| Qasje Arkitektonike | Enkoderë të dyfishtë që projektojnë në hapësirën e përbashkët të ngulitur | Enkoder i vetëm i specializuar për një lloj hyrjeje |
| Kuptimi ndërmodal | Arsyetimi i përbashkët nativ në të gjithë shikimin dhe gjuhën | Kërkon bashkim ose tubacion të jashtëm për të lidhur modalitetet |
| Kostoja llogaritëse | E lartë, për shkak të grupeve të të dhënave masive të çiftëzuara dhe madhësive të mëdha të grupeve | Përgjithësisht më e ulët, veçanërisht për rregullimin e imët unimodal |
| Rastet më të mira të përdorimit | Rikthimi i imazheve, klasifikimi me zero goditje, kërkimi vizual | Detyra të specializuara të vizionit ose gjenerim dhe arsyetim të tekstit të pastër |
| Modele Shembujsh | KLIP, ALIGN, SigLIP, Firence, BLIP | ResNet, ViT, GPT-4, LLaMA, BERT |
Modelet e rreshtimit imazh-tekst ndërtohen rreth idesë se konceptet vizuale dhe përshkrimet e tyre gjuhësore ndajnë një strukturë semantike themelore. Duke u trajnuar në qindra miliona çifte imazh-titull, ato mësojnë të hartojnë të dy inputet në një hapësirë të përbashkët ngulitjeje ku artikujt e lidhur semantikisht grumbullohen së bashku. Modelet e modalitetit të pavarur ndjekin rrugën e kundërt, duke përqendruar të gjithë kapacitetin e tyre në zotërimin e një lloji të inputit. Një model vetëm për shikimin, si një rrjet nervor konvolucional, mëson tipare vizuale hierarkike, ndërsa një model gjuhësor mëson modele statistikore të tekstit njerëzor. Asnjëri nuk përpiqet të kuptojë modalitetin tjetër gjatë trajnimit.
Modelet e shtrirjes shkëlqejnë vërtet në përgjithësimin me pikë zero. Meqenëse ato kodojnë imazhe dhe tekst në të njëjtën hapësirë, mund ta klasifikoni një imazh duke dhënë thjesht një etiketë teksti si 'një foto e një qeni të racës Golden Retriever' dhe duke matur ngjashmërinë, edhe nëse modeli nuk e ka parë kurrë atë klasë të saktë gjatë trajnimit. Modelet e pavarura të modalitetit nuk mund ta bëjnë këtë natyrshëm. Një ResNet i trajnuar në ImageNet njeh vetëm një mijë klasat e tij të trajnimit, dhe një model gjuhësor nuk di asgjë për pikselët. Për t'i zgjeruar ato në detyra të reja, zakonisht keni nevojë për të dhëna shtesë të etiketuara dhe rregullime të hollësishme.
Modelet e pavarura të modalitetit shpesh fitojnë në standardet brenda domenit të tyre amë. Një model i dedikuar për zbulimin e objekteve si DETR ose një rrjet segmentimi si SAM mund të tejkalojë një model të përgjithshëm të rreshtimit në detyrat e parashikimit të dendur sepse ato janë optimizuar posaçërisht për kuptimin hapësinor. Në mënyrë të ngjashme, modelet e mëdha gjuhësore ende dominojnë arsyetimin e pastër të tekstit, kodimin dhe gjenerimin e formave të gjata. Modelet e rreshtimit shkëmbejnë një pjesë të asaj performance maksimale të një modaliteti të vetëm për aftësinë për të lidhur kuptimin vizual dhe gjuhësor në një sistem të unifikuar.
Trajnimi i një modeli të rreshtimit nga e para është i kushtueshëm. Ekzekutimi origjinal i trajnimit të CLIP konsumoi një sasi të madhe llogaritjesh gjatë javëve të tëra, dhe shkallëzimi në miliarda çifte vetëm sa e rrit atë kosto. Modelet e pavarura të modalitetit mund të trajnohen më lirë, veçanërisht kur shfrytëzojnë skeletet bazë të trajnuara paraprakisht. Megjithatë, pasi të trajnohen, modelet e rreshtimit janë jashtëzakonisht efikase në nxjerrjen e përfundimeve për rikuperimin dhe klasifikimin, pasi një kalim i vetëm përpara përmes secilit kodues prodhon ngulitje të ripërdorshme. Modelet e pavarura shpesh kanë nevojë për koka specifike për detyrën ose për rregullime të hollësishme për çdo aplikacion të ri.
Modelet e rreshtimit fuqizojnë një ekosistem në rritje aplikacionesh, duke përfshirë motorët e kërkimit të imazheve, sistemet e moderimit të përmbajtjes që përputhen me pamjet me përshkrimet e tekstit dhe enkoduesit vizualë pas chatbot-eve moderne multimodale. Modelet e pavarura të modalitetit mbeten shtyllat kryesore të tubacioneve të inteligjencës artificiale të prodhimit, duke trajtuar OCR-në, njohjen e fytyrës, kuptimin e dokumenteve dhe gjenerimin e tekstit në shkallë të gjerë. Gjithnjë e më shumë, të dy qasjet po konvergojnë: sisteme si GPT-4V dhe Gemini përdorin komponentë të pavarur të vizionit dhe gjuhës nga brenda, por i rreshtojnë ato përmes trajnimit të përbashkët, duke e zbehur vijën ndarëse midis këtyre paradigmave.
Modelet e shtrirjes mund t'i kuptojnë imazhet në të njëjtën mënyrë siç i kuptojnë njerëzit.
Këto modele mësojnë lidhje statistikore midis karakteristikave vizuale dhe tekstit, jo kuptimin vizual të bazuar. Ato mund t'i përputhin imazhet me përshkrimet, por u mungon kuptimi i vërtetë i objekteve, shkakësia ose arsyetimi fizik që njerëzit e zhvillojnë përmes përvojës së mishëruar.
Modelet e modalitetit të pavarur janë të vjetëruara në epokën e inteligjencës artificiale multimodale.
Larg nga të qenit të vjetruara, modelet e pavarura mbeten shtylla kurrizore e shumicës së sistemeve të inteligjencës artificiale të prodhimit. Ato shpesh i tejkalojnë modelet multimodale në detyra të specializuara dhe shërbejnë si komponentë brenda arkitekturave më të mëdha multimodale.
CLIP dhe modele të ngjashme mund të zëvendësojnë tërësisht klasifikuesit e dedikuar të imazheve.
Ndërsa modelet e rreshtimit ofrojnë fleksibilitet mbresëlënës me goditje zero, klasifikuesit specialistë të përshtatur mirë ende i tejkalojnë ata në shumë standarde, veçanërisht në kategoritë e detajuara, imazherinë mjekësore ose domenet me dallime delikate vizuale.
Modelet e rreshtimit nuk kanë nevojë për shumë të dhëna të etiketuara sepse ato mësojnë nga mbishkrimet.
Ata kanë nevojë për sasi të mëdha të dhënash të çiftëzuara dobët, që është një lloj tjetër mbikëqyrjeje. Kurimi i qindra miliona çifteve të pastra imazh-tekst është në vetvete një sfidë e madhe inxhinierike dhe etike.
Modelet më të mëdha të shtrirjes janë gjithmonë më të mira.
Shkallëzimi ndihmon deri në një farë mase, por fitimet zvogëlohen, dhe modelet më të vogla si SigLIP kanë treguar se truket e trajnimit dhe cilësia e të dhënave mund të përputhen ose të tejkalojnë shkallëzimin me forcë brutale me kosto më të ulët.
Zgjidhni modele të rreshtimit imazh-tekst kur aplikacioni juaj kërkon ndërveprim fleksibël dhe të shpejtë midis vizionit dhe gjuhës, siç është klasifikimi me zero goditje, rikthimi i imazheve ose ndërtimi i asistentëve multimodalë. Zgjidhni modele të pavarura të modalitetit kur keni nevojë për performancë maksimale në një detyrë të përcaktuar mirë me një modalitet të vetëm, keni të dhëna të kufizuara trajnimi të çiftëzuara ose dëshironi të vendosni sisteme të specializuara të lehta pa mbingarkesën e trajnimit ndërmodal.
Agregimi i preferencave kombinon preferenca të shumta individuale në vendime kolektive, ndërsa modelimi i parashikimit individual parashikon sjelljen personale duke përdorur të mësuarit automatik në të dhënat e një përdoruesi të vetëm. Të dyja shërbejnë për qëllime të dallueshme në sistemet e inteligjencës artificiale, nga motorët e rekomandimeve deri te platformat demokratike të votimit.
Ky krahasim arkitektonik vë në kontrast inxhinierinë deterministe të Agjentëve të Bazuar në Rregulla me natyrën adaptive të të dhënave të Agjentëve të Bazuar në Mësim, duke vlerësuar zbatueshmërinë e tyre në botën reale, kufijtë e shkallëzimit dhe performancën në kushte pasigurie.
Ky udhëzues i detajuar shqyrton ndryshimet strukturore dhe operacionale midis agjentëve autonomë dhe sistemeve të automatizimit të skriptuar. Ndërsa mjetet e skriptuara ofrojnë parashikueshmëri të pakrahasueshme për rrjedha pune të ngurta dhe përsëritëse, agjentët inteligjentë modernë shfrytëzojnë arsyetimin kognitiv për të lundruar në mënyrë të pavarur në të dhëna të ndryshueshme, pengesa teknike të papritura dhe peizazhe të dhënash shumë komplekse dhe të pastrukturuara.
Agjentët autonomë të IA-së veprojnë në mënyrë të pavarur duke planifikuar, arsyetuar dhe ekzekutuar detyra shumë-hapëshe me ndërhyrje minimale njerëzore, ndërsa sistemet e IA-së të bazuara në shpejtësi u përgjigjen udhëzimeve individuale të përdoruesit, një ndërveprim në të njëjtën kohë. Dallimi kryesor qëndron në agjenci: agjentët ndjekin qëllimet nëpër seanca, ndërsa sistemet e shpejtësisë presin për drejtim.
Agjentët bisedorë përqendrohen në dialogun natyror dhe ndërveprimet e bazuara në tekst, ndërsa agjentët që përdorin mjete zgjerojnë aftësitë e IA-së duke thirrur funksione dhe API të jashtme. Të dy përfaqësojnë qasje të dallueshme ndaj sistemeve autonome të IA-së, me modelet bisedore që shkëlqejnë në komunikim dhe agjentët që përdorin mjete të specializuar në ekzekutimin e detyrave në botën reale.
