Regėjimo ir kalbos modeliai apdoroja vaizdus ir tekstą kartu, įgalindami tokias užduotis kaip vaizdiniai atsakymai į klausimus ir vaizdinių subtitrų rašymas. Grynosios kalbos modeliai daugiausia dėmesio skiria tekstui ir puikiai tinka rašymo, samprotavimo ir pokalbių užduotims be vaizdinės įvesties galimybių.
Dirbtinio intelekto sistemos, kurios kartu supranta ir generuoja turinį iš vaizdinių ir tekstinių įvesties duomenų, sujungdamos kompiuterinę regą su natūralios kalbos apdorojimu.
Dirbtinio intelekto sistemos, sukurtos tik teksto pagrindu atliekamoms užduotims, apmokytos dirbti su dideliais rašytinio turinio korpusais, kad suprastų ir generuotų žmonių kalbą.
| Funkcija | Regėjimo ir kalbos modeliai | Grynos kalbos modeliai |
|---|---|---|
| Įvesties būdai | Vaizdai ir tekstas (multimodalinis) | Tik tekstas (vienmodalinis) |
| Pagrindinė architektūra | Vizijos kodavimo įrenginys + kalbos modelis su kryžminiu modaliniu suliejimu | Tik transformatoriumi pagrįstas kalbos modelis |
| Mokymo duomenys | Vaizdo ir teksto poros, antraštės, vizualiniai kokybės užtikrinimo duomenų rinkiniai ir teksto korpusai | Didelės apimties teksto korpusai iš interneto, knygų ir kodo |
| Pagrindinės galimybės | Vaizdų subtitrai, vaizdinis samprotavimas, dokumentų analizė, multimodalinis pokalbis | Teksto generavimas, samprotavimas, vertimas, programavimas, pokalbis |
| Pavyzdiniai modeliai | GPT-4V, Gemini 1.5, LLaVA, Qwen-VL, Claude 3.5 Sonnetas | GPT-4, Lama 3, Mistralis, Claude 3.5, Phi-3 |
| Skaičiavimo kaina | Didesnis dėl regėjimo apdorojimo pridėtinių sąnaudų | Žemesnis, optimizuotas tik teksto nustatymui |
| Bendri lyginamieji standartai | MMMU, VQA, MMStar, MathVista, DocVQA | MMLU, HumanEval, GSM8K, HellaSwag, BIG-Bench |
| Geriausi naudojimo atvejai | Vizualinė analizė, prieinamumas, dokumentų dirbtinis intelektas, vaizdais pagrįsti asistentai | Rašymas, kodavimas, analizė, pokalbių robotai, žinių paieška |
Vizualinės kalbos modeliai sujungia vaizdo apdorojimo komponentą, dažniausiai „Vision Transformer“ arba CLIP stiliaus kodavimo įrenginį, su kalbos modeliu. Šios dvi dalys yra sujungtos projekcijos sluoksniais arba kryžminio dėmesio mechanizmais, kurie leidžia modeliui suderinti vaizdo elementus su teksto atvaizdavimais. Grynos kalbos modeliai visiškai praleidžia vaizdo komponentą, pasikliaudami tik transformatoriaus sluoksniais, kurie apdoroja žetonuotą tekstą. Dėl to jų dizainas yra paprastesnis, tačiau jie yra labai optimizuoti kalbiniams modeliams.
Regėjimo ir kalbos modelio mokymui reikalingi suporuoti vaizdo ir teksto duomenys, pvz., nuotraukos su subtitrais, mokomųjų vaizdinių duomenų rinkiniai ir dokumentų vaizdai su anotacijomis. Modelis išmoksta susieti pikselius su žodžiais ir sąvokomis. Grynos kalbos modeliai mokosi su didžiuliais teksto korpusais, mokydamiesi gramatikos, faktų ir samprotavimo modelių per kito žetono numatymą. Abu metodai naudoja savarankišką mokymąsi dideliu mastu, tačiau regos ir kalbos modeliams reikalingas papildomas suderinimo mokymas, kad būtų galima sujungti šiuos du modalumus.
Regėjimo kalbos modeliai puikiai tinka, kai svarbus vizualinis kontekstas, pavyzdžiui, aprašant diagramą, skaitant tekstą iš paveikslėlio ar atsakant į klausimus apie nuotrauką. Grynos kalbos modeliai dominuoja atliekant užduotis, kuriose daug teksto, pavyzdžiui, rašant esė, generuojant kodą ir logiškai samprotaujant be vaizdinės įvesties. Įdomu tai, kad daugelis šiuolaikinių sistemų pagal numatytuosius nustatymus yra multimodalinės, o tai reiškia, kad skirtumas nyksta, nes pirmaujančios laboratorijos integruoja regą į savo pagrindinius modelius.
Įmonės naudoja vizualinės kalbos modelius dokumentų automatizavimui, vizualinei paieškai, pritaikymo neįgaliesiems įrankiams ir klientų aptarnavimui, naudojant ekrano kopijas ar produktų vaizdus. Grynos kalbos modeliai įgalina pokalbių robotus, turinio kūrimo įrankius, kodo asistentus ir įmonių paieškos sistemas. Pasirinkimas priklauso nuo to, ar jūsų darbo eiga apima vaizdinį turinį. Grynos teksto darbo eigose kalbos modeliai išlieka greitesni ir pigesni.
Vizualinės kalbos modeliams reikia daugiau atminties ir skaičiavimo pajėgumų, nes jie apdoroja didelio matmens vaizdo duomenis kartu su tekstu. Tai reiškia didesnes išvadų darymo išlaidas ir šiek tiek lėtesnį atsako laiką. Grynos kalbos modeliai yra efektyvesni, ypač kai jie veikia mažesniuose atviro svorio modeliuose, tokiuose kaip „Llama 3 8B“ arba „Mistral 7B“. Didelės apimties teksto programoms kainų skirtumas gali būti reikšmingas.
Regėjimo ir kalbos modeliai kartais haliucina vaizdų detales arba sunkiai suvokia smulkų vaizdinį mąstymą, pavyzdžiui, skaičiuoja mažus objektus. Grynosios kalbos modeliai visiškai nemato vaizdų, todėl jų naudingumas bet kokiai užduočiai, kuriai reikalinga vaizdinė įvestis, yra ribotas. Nei vienas iš šių modelių iš tikrųjų nesupranta pasaulio taip, kaip žmonės, tačiau regos ir kalbos modeliai priartėja, kalbą įžemindami vaizdinėje realybėje.
Regėjimo kalbos modeliai gali iš tikrųjų matyti ir suprasti vaizdus taip, kaip tai daro žmonės.
Jie apdoroja vaizdus kaip pikselių šablonus ir treniruodamiesi mokosi statistinių sąsajų su tekstu. Jiems trūksta tikro vizualinio supratimo ir juos gali apgauti priešiški vaizdai arba jie gali nepastebėti detalių, kurias lengvai pastebėtų žmogus.
Dėl multimodalinio dirbtinio intelekto grynos kalbos modeliai tampa nebeaktualūs.
Grynos kalbos modeliai išlieka daugelio dirbtinio intelekto programų pagrindu ir dažnai yra efektyvesni tekstinėms užduotims. Daugelyje sistemų kalbos modeliai naudojami kartu su regėjimo modeliais, o ne jų pakaitalu.
Regėjimo kalbos modelis yra tiesiog kalbos modelis su pritvirtintu vaizdų klasifikatoriumi.
Šiuolaikiniai regos ir kalbos modeliai naudoja sudėtingą tarpmodalinį dėmesį ir jungtinį mokymą, o ne paprastą klasifikavimą. Regos ir kalbos komponentai yra glaudžiai integruoti per išmoktus derinimo sluoksnius.
Grynos kalbos modeliai visiškai negali samprotauti apie vizualines sąvokas.
Kalbos modeliai, apmokyti remiantis pakankamu teksto kiekiu, gali išugdyti stebinančias vizualines žinias vien per aprašymus. Jie gali aptarti meno stilius, apibūdinti scenas ir samprotauti apie vizualines sąvokas net neapdorodami vaizdo.
Vizijos kalbos modeliai visada pranoksta grynos kalbos modelius samprotavimo užduotyse.
Grynai tekstinio mąstymo lyginamuosiuose testuose regos ir kalbos modeliai dažnai veikia panašiai arba šiek tiek blogiau nei jų atitikmenys, naudojantys tik tekstą. Vizualinių galimybių pridėjimas automatiškai nepagerina loginio ar matematinio mąstymo.
Jei jūsų programai reikia interpretuoti vaizdus, dokumentus ar vaizdinį turinį kartu su tekstu, rinkitės vizualinės kalbos modelį. Grynosios kalbos modelį rinkitės tekstiniams darbo eigoms, kur svarbiausia greitis, kaina ir gilus lingvistinis samprotavimas. Daugeliui šiuolaikinių diegimų naudingi abu variantai: vizualinėms užduotims naudojami vizualinės kalbos modeliai, o viskam kitam – grynosios kalbos modeliai.
„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.
„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.
„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.
„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.
A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.
