Modelet e gjuhës vizuale përpunojnë së bashku imazhet dhe tekstin, duke mundësuar detyra të tilla si përgjigjja vizuale e pyetjeve dhe vendosja e mbishkrimeve të imazheve. Modelet e gjuhës së pastër përqendrohen ekskluzivisht në tekst, duke shkëlqyer në shkrim, arsyetim dhe detyra bisedore pa aftësi hyrjeje vizuale.
Sisteme të inteligjencës artificiale që kuptojnë dhe gjenerojnë së bashku përmbajtje nga të dhënat vizuale dhe tekstuale, duke lidhur vizionin kompjuterik me përpunimin e gjuhës natyrore.
Sisteme të inteligjencës artificiale të projektuara vetëm për detyra të bazuara në tekst, të trajnuara në korpuse të mëdha përmbajtjeje të shkruar për të kuptuar dhe gjeneruar gjuhën njerëzore.
| Veçori | Modelet e Gjuhës Vizionale | Modele të Gjuhës së Pastër |
|---|---|---|
| Modalitetet e të Dhënave | Imazhe dhe tekst (multimodal) | Vetëm tekst (unimodal) |
| Arkitektura Bërthamore | Kodifikues vizual + model gjuhe me bashkim ndërmodal | Vetëm modeli gjuhësor i bazuar në transformator |
| Të dhënat e trajnimit | Çifte imazh-tekst, mbishkrime, grupe të dhënash vizuale të QA-së, plus korpuse teksti | Korpuse tekstesh në shkallë të gjerë nga uebi, librat dhe kodi |
| Aftësitë kryesore | Mbishkrimet e imazheve, arsyetimi vizual, analiza e dokumenteve, biseda multimodale | Gjenerimi i tekstit, arsyetimi, përkthimi, kodi, biseda |
| Modele Shembujsh | GPT-4V, Binjakët 1.5, LLaVA, Qwen-VL, Claude 3.5 Sonet | GPT-4, Llama 3, Mistral, Claude 3.5, Phi-3 |
| Kostoja llogaritëse | Më i lartë për shkak të mbingarkesës së përpunimit të shikimit | Më i ulët, i optimizuar për konkluzione vetëm me tekst |
| Standardet e Përbashkëta | MMMU, VQA, MMStar, MathVista, DocVQA | MMLU, HumanEval, GSM8K, HellaSwag, BIG-Bench |
| Rastet më të mira të përdorimit | Analiza vizuale, aksesueshmëria, inteligjenca artificiale e dokumenteve, asistentë të bazuar në imazhe | Shkrim, kodim, analizë, chatbot, rikthim njohurish |
Modelet e gjuhës vizuale kombinojnë një komponent të përpunimit vizual, zakonisht një Transformues Vizioni ose një kodues në stilin CLIP, me një model gjuhe. Këto dy pjesë janë të lidhura përmes shtresave të projeksionit ose mekanizmave të vëmendjes së kryqëzuar që i lejojnë modelit të përshtasë tiparet vizuale me përfaqësimet e tekstit. Modelet e gjuhës së pastër e anashkalojnë tërësisht komponentin vizual, duke u mbështetur vetëm në shtresat e transformatorit që përpunojnë tekstin e tokenizuar. Kjo i bën ato më të thjeshta në dizajn, por shumë të optimizuara për modelet gjuhësore.
Trajnimi i një modeli të gjuhës vizuale kërkon të dhëna të çiftëzuara imazh-tekst, siç janë fotot me mbishkrime, grupet e të dhënave vizuale mësimore dhe imazhet e dokumenteve me shënime. Modeli mëson të shoqërojë pikselët me fjalë dhe koncepte. Modelet e gjuhës së pastër stërviten në korpuse të mëdha teksti, duke mësuar gramatikën, faktet dhe modelet e arsyetimit përmes parashikimit të shenjës së radhës. Të dyja qasjet përdorin të mësuarit e vetë-mbikëqyrur në shkallë të gjerë, por modelet e gjuhës vizuale kanë nevojë për trajnim shtesë të shtrirjes për të lidhur dy modalitetet.
Modelet e gjuhës vizuale shkëlqejnë kur konteksti vizual ka rëndësi, si për shembull përshkrimi i një grafiku, leximi i tekstit nga një imazh ose përgjigjja e pyetjeve në lidhje me një fotografi. Modelet e gjuhës së pastër dominojnë detyrat me shumë tekst, siç janë shkrimi i eseve, gjenerimi i kodit dhe arsyetimi logjik pa kontribut vizual. Është interesante se shumë sisteme moderne janë multimodale si parazgjedhje, që do të thotë se dallimi po zbehet ndërsa laboratorët kryesorë integrojnë vizionin në modelet e tyre kryesore.
Bizneset përdorin modele të gjuhës së vizionit për automatizimin e dokumenteve, kërkimin vizual, mjetet e aksesueshmërisë dhe mbështetjen e klientëve që përfshijnë pamje të ekranit ose imazhe produktesh. Modelet e gjuhës së pastër fuqizojnë chatbot-et, mjetet e krijimit të përmbajtjes, asistentët e kodit dhe sistemet e kërkimit të ndërmarrjeve. Zgjedhja midis tyre varet nëse rrjedha juaj e punës përfshin përmbajtje vizuale. Për rrjedhat e punës me tekst të pastër, modelet e gjuhës mbeten më të shpejta dhe më të lira për t'u ekzekutuar.
Modelet e gjuhës vizuale kërkojnë më shumë memorie dhe aftësi llogaritëse sepse përpunojnë të dhëna imazhi me dimensione të larta së bashku me tekstin. Kjo përkthehet në kosto më të larta të nxjerrjes së përfundimeve dhe kohë reagimi pak më të ngadalta. Modelet e gjuhës së pastër janë më efikase, veçanërisht kur funksionojnë në modele më të vogla me peshë të hapur si Llama 3 8B ose Mistral 7B. Për aplikacionet e tekstit me vëllim të lartë, ndryshimi në kosto mund të jetë i konsiderueshëm në shkallë të gjerë.
Modelet e gjuhës vizuale ndonjëherë halucinojnë detaje rreth imazheve ose kanë vështirësi me arsyetimin vizual të detajuar, siç është numërimi i objekteve të vogla. Modelet e gjuhës së pastër nuk mund t'i shohin fare imazhet, duke kufizuar dobinë e tyre për çdo detyrë që kërkon të dhëna vizuale. Asnjëri lloj nuk e kupton vërtet botën në të njëjtën mënyrë si njerëzit, por modelet e gjuhës vizuale i afrohen më shumë duke e bazuar gjuhën në realitetin vizual.
Modelet e gjuhës vizuale mund t’i shohin dhe kuptojnë vërtet imazhet në të njëjtën mënyrë siç i shohin njerëzit.
Ata i përpunojnë imazhet si modele pikselësh dhe mësojnë lidhje statistikore me tekstin gjatë trajnimit. Ata nuk kanë kuptim të vërtetë vizual dhe mund të mashtrohen nga imazhe kundërshtare ose të humbasin detaje që një njeri do t'i kapte lehtësisht.
Modelet e gjuhës së pastër po bëhen të vjetëruara për shkak të inteligjencës artificiale multimodale.
Modelet e gjuhës së pastër mbeten shtylla kurrizore e shumicës së aplikacioneve të IA-së dhe shpesh janë më efikase për detyrat vetëm me tekst. Shumë sisteme përdorin modele gjuhësore së bashku me modelet e vizionit në vend që t'i zëvendësojnë ato.
Një model i gjuhës së vizionit është thjesht një model gjuhe me një klasifikues imazhi të integruar.
Modelet moderne të gjuhës së vizionit përdorin vëmendje të sofistikuar ndërmodale dhe trajnim të përbashkët, jo klasifikim të thjeshtë. Komponentët e vizionit dhe të gjuhës janë të integruar thellësisht përmes shtresave të mësuara të shtrirjes.
Modelet e gjuhës së pastër nuk mund të arsyetojnë fare rreth koncepteve vizuale.
Modelet gjuhësore të trajnuara mbi tekst të mjaftueshëm mund të zhvillojnë njohuri vizuale të habitshme vetëm përmes përshkrimeve. Ato mund të diskutojnë stilet e artit, të përshkruajnë skena dhe të arsyetojnë rreth koncepteve vizuale pa përpunuar kurrë një imazh.
Modelet e gjuhës vizuale kanë gjithmonë performancë më të mirë se modelet e gjuhës së pastër në detyrat e arsyetimit.
Në testet e arsyetimit të pastër me tekst, modelet e gjuhës vizuale shpesh performojnë në mënyrë të ngjashme ose pak më keq se homologët e tyre vetëm me tekst. Shtimi i aftësisë vizuale nuk e përmirëson automatikisht arsyetimin logjik ose matematik.
Zgjidhni një model të gjuhës vizuale nëse aplikacioni juaj duhet të interpretojë imazhe, dokumente ose përmbajtje vizuale së bashku me tekstin. Zgjidhni një model të gjuhës së pastër për rrjedhat e punës vetëm me tekst ku shpejtësia, kostoja dhe arsyetimi i thellë gjuhësor kanë më shumë rëndësi. Shumë zbatime moderne përfitojnë nga të dyja, duke përdorur modele të gjuhës vizuale për detyrat vizuale dhe modele të gjuhës së pastër për gjithçka tjetër.
Agregimi i preferencave kombinon preferenca të shumta individuale në vendime kolektive, ndërsa modelimi i parashikimit individual parashikon sjelljen personale duke përdorur të mësuarit automatik në të dhënat e një përdoruesi të vetëm. Të dyja shërbejnë për qëllime të dallueshme në sistemet e inteligjencës artificiale, nga motorët e rekomandimeve deri te platformat demokratike të votimit.
Ky krahasim arkitektonik vë në kontrast inxhinierinë deterministe të Agjentëve të Bazuar në Rregulla me natyrën adaptive të të dhënave të Agjentëve të Bazuar në Mësim, duke vlerësuar zbatueshmërinë e tyre në botën reale, kufijtë e shkallëzimit dhe performancën në kushte pasigurie.
Ky udhëzues i detajuar shqyrton ndryshimet strukturore dhe operacionale midis agjentëve autonomë dhe sistemeve të automatizimit të skriptuar. Ndërsa mjetet e skriptuara ofrojnë parashikueshmëri të pakrahasueshme për rrjedha pune të ngurta dhe përsëritëse, agjentët inteligjentë modernë shfrytëzojnë arsyetimin kognitiv për të lundruar në mënyrë të pavarur në të dhëna të ndryshueshme, pengesa teknike të papritura dhe peizazhe të dhënash shumë komplekse dhe të pastrukturuara.
Agjentët autonomë të IA-së veprojnë në mënyrë të pavarur duke planifikuar, arsyetuar dhe ekzekutuar detyra shumë-hapëshe me ndërhyrje minimale njerëzore, ndërsa sistemet e IA-së të bazuara në shpejtësi u përgjigjen udhëzimeve individuale të përdoruesit, një ndërveprim në të njëjtën kohë. Dallimi kryesor qëndron në agjenci: agjentët ndjekin qëllimet nëpër seanca, ndërsa sistemet e shpejtësisë presin për drejtim.
Agjentët bisedorë përqendrohen në dialogun natyror dhe ndërveprimet e bazuara në tekst, ndërsa agjentët që përdorin mjete zgjerojnë aftësitë e IA-së duke thirrur funksione dhe API të jashtme. Të dy përfaqësojnë qasje të dallueshme ndaj sistemeve autonome të IA-së, me modelet bisedore që shkëlqejnë në komunikim dhe agjentët që përdorin mjete të specializuar në ekzekutimin e detyrave në botën reale.
