Nägemis-keele mudelid töötlevad nii pilte kui ka teksti koos, võimaldades selliseid ülesandeid nagu visuaalsed küsimustele vastamised ja piltide pealdiste lisamine. Puhtkeele mudelid keskenduvad ainult tekstile, saavutades suurepäraseid tulemusi kirjutamis-, arutlus- ja vestlusülesannetes ilma visuaalse sisendivõimalusteta.
Tehisintellekti süsteemid, mis mõistavad ja genereerivad sisu ühiselt nii visuaalsetest kui ka tekstilistest sisenditest, ühendades arvutinägemise loomuliku keele töötlemisega.
Ainult tekstipõhiste ülesannete jaoks loodud tehisintellekti süsteemid, mis on treenitud suurte kirjaliku sisu korpuste peal inimkeele mõistmiseks ja genereerimiseks.
| Funktsioon | Nägemis-keele mudelid | Puhta keele mudelid |
|---|---|---|
| Sisestusviisid | Pildid ja tekst (multimodaalne) | Ainult tekst (unimodaalne) |
| Põhiarhitektuur | Visioonikooder + keelemudel ristmodaalse fusiooniga | Ainult transformaatoril põhinev keelemudel |
| Treeningandmed | Pildi-teksti paarid, pealdised, visuaalsed kvaliteedikontrolli andmekogumid ja tekstikorpused | Suuremahulised tekstikorpused veebist, raamatutest ja koodist |
| Peamised võimed | Piltide subtiitrid, visuaalne arutluskäik, dokumentide analüüs, multimodaalne vestlus | Teksti genereerimine, arutluskäik, tõlkimine, kood, vestlus |
| Näidismudelid | GPT-4V, Gemini 1.5, LLaVA, Qwen-VL, Claude 3.5 sonett | GPT-4, Llama 3, Mistral, Claude 3.5, Phi-3 |
| Arvutuslik maksumus | Kõrgem nägemise töötlemise üldkulude tõttu | Madalam, optimeeritud ainult tekstipõhiseks järeldamiseks |
| Ühised võrdlusnäitajad | MMMU, VQA, MMStar, MathVista, DocVQA | MMLU, HumanEval, GSM8K, HellaSwag, BIG-Bench |
| Parimad kasutusjuhud | Visuaalne analüüs, ligipääsetavus, dokumentide tehisintellekt, pildipõhised assistendid | Kirjutamine, kodeerimine, analüüs, vestlusrobotid, teadmiste hankimine |
Nägemiskeele mudelid ühendavad visuaalse töötlemise komponendi, tavaliselt Vision Transformeri või CLIP-stiilis kodeerija, keelemudeliga. Need kaks osa on ühendatud projektsioonikihtide või risttähelepanu mehhanismide kaudu, mis võimaldavad mudelil joondada visuaalseid tunnuseid tekstiesitusega. Puhaskeele mudelid jätavad visuaalse komponendi täielikult vahele, tuginedes ainult transformeerimiskihtidele, mis töötlevad tokeniseeritud teksti. See muudab need disainilt lihtsamaks, kuid optimeerib keeleliste mustrite jaoks.
Nägemiskeele mudeli treenimiseks on vaja paarispildi-teksti andmeid, näiteks pealkirjadega fotosid, õppematerjalide visuaalseid andmekogumeid ja märkustega dokumendipilte. Mudel õpib seostama piksleid sõnade ja mõistetega. Puhaskeele mudelid treenivad tohutul hulgal tekstikorpustel, õppides grammatikat, fakte ja arutlusmustreid järgmise märgi ennustamise kaudu. Mõlemad lähenemisviisid kasutavad ulatuslikku enesejuhendatud õppimist, kuid nägemiskeele mudelid vajavad kahe modaalsuse ühendamiseks täiendavat joondamise koolitust.
Nägemiskeele mudelid on silmapaistvad siis, kui visuaalne kontekst on oluline, näiteks diagrammi kirjeldamisel, pildilt teksti lugemisel või foto kohta küsimustele vastamisel. Puhta keele mudelid domineerivad tekstirohketes ülesannetes, nagu esseede kirjutamine, koodi genereerimine ja loogiline arutluskäik ilma visuaalse sisendita. Huvitaval kombel on paljud tänapäevased süsteemid vaikimisi multimodaalsed, mis tähendab, et see piir hägustub, kuna juhtivad laborid integreerivad nägemise oma lipulaevmudelitesse.
Ettevõtted kasutavad visuaalse keele mudeleid dokumentide automatiseerimiseks, visuaalseks otsinguks, ligipääsetavuse tööriistadeks ja klienditoeks, mis hõlmavad ekraanipilte või tootepilte. Puhta keele mudelid toetavad vestlusroboteid, sisu loomise tööriistu, koodiassistente ja ettevõtte otsingusüsteeme. Nende vahel valimine sõltub sellest, kas teie töövoog hõlmab visuaalset sisu. Puhta teksti töövoogude puhul on keelemudelid kiiremad ja odavamad.
Nägemiskeele mudelid vajavad rohkem mälu ja arvutusvõimsust, kuna nad töötlevad koos tekstiga ka kõrgmõõtmelisi pildiandmeid. See tähendab suuremaid järelduskulusid ja veidi aeglasemaid reageerimisaegu. Puhaskeele mudelid on tõhusamad, eriti väiksematel avatud raskusastmega mudelitel, näiteks Llama 3 8B või Mistral 7B, töötades. Suuremahuliste tekstirakenduste puhul võib kulude erinevus olla mastaabis märkimisväärne.
Nägemiskeele mudelid hallutsineerivad mõnikord piltide detaile või näevad vaeva peeneteralise visuaalse arutluskäiguga, näiteks väikeste objektide loendamisega. Puhta keele mudelid ei näe pilte üldse, mis piirab nende kasulikkust mis tahes visuaalset sisendit nõudva ülesande puhul. Kumbki tüüp ei mõista maailma tegelikult nii nagu inimesed, kuid nägemiskeele mudelid jõuavad lähemale, maandades keele visuaalsesse reaalsusesse.
Nägemiskeele mudelid suudavad pilte tõeliselt näha ja mõista samamoodi nagu inimesed.
Nad töötlevad pilte pikslite mustritena ja õpivad treeningu ajal tekstiga statistilisi seoseid. Neil puudub tõeline visuaalne arusaam ning neid võivad petta vastaslikud pildid või nad võivad mööda vaadata detailidest, mida inimene kergesti märkaks.
Puhta keele mudelid on multimodaalse tehisintellekti tõttu vananenud.
Puhtad keelemudelid jäävad enamiku tehisintellekti rakenduste selgrooks ja on sageli tekstipõhiste ülesannete puhul tõhusamad. Paljud süsteemid kasutavad keelemudeleid koos nägemismudelitega, mitte ei asenda neid.
Nägemiskeele mudel on lihtsalt keelemudel, millele on kinnitatud pildiklassifikaator.
Kaasaegsed nägemis-keele mudelid kasutavad keerukat intermodaalset tähelepanu ja ühist treenimist, mitte lihtsat klassifitseerimist. Nägemise ja keele komponendid on sügavalt integreeritud õpitud joonduskihtide kaudu.
Puhtad keelemudelid ei suuda visuaalsete mõistete üle üldse arutleda.
Piisava tekstikogusega treenitud keelemudelid suudavad ainuüksi kirjelduste abil arendada üllatavaid visuaalseid teadmisi. Nad saavad arutleda kunstistiilide, stseenide ja visuaalsete kontseptsioonide üle arutleda ilma pilti töötlemata.
Nägemiskeele mudelid edestavad arutlusülesannetes alati puhta keele mudeleid.
Puhtalt tekstil põhinevate arutluskäikude võrdlustestides toimivad nägemiskeele mudelid sageli sarnaselt või veidi halvemini kui nende ainult tekstil põhinevad mudelid. Visuaalse võimekuse lisamine ei paranda automaatselt loogilist ega matemaatilist arutluskäiku.
Valige nägemiskeele mudel, kui teie rakendus peab tõlgendama pilte, dokumente või visuaalset sisu koos tekstiga. Valige puhta keele mudel ainult tekstipõhiste töövoogude jaoks, kus kiirus, hind ja sügav keeleline arutluskäik on kõige olulisemad. Paljud tänapäevased juurutused saavad kasu mõlemast, kasutades nägemiskeele mudeleid visuaalsete ülesannete jaoks ja puhta keele mudeleid kõige muu jaoks.
Mudeliteenuse A/B-testimine suunab liiklust konkureerivate mudeliversioonide vahel, et mõõta reaalset toimivust, samas kui ühe mudeli juurutamine saadab kõigile kasutajatele ühe mudeli. Meeskonnad valivad nende vahel riskitaluvuse, liiklusmahu ja statistilise valideerimise vajaduse alusel enne täielikku juurutamist.
Sisuväljaannete A/B-testimine hõlmab variatsioonide levitamist erinevatele sihtrühmadele ja tulemuslikkuse mõõtmist, samas kui ühekordsed sisuväljaanded suunavad ühe versiooni korraga kõigile. Igal lähenemisviisil on erinevad eesmärgid, kusjuures A/B-testimine eelistab andmepõhist optimeerimist ja ühekordsed väljaanded seavad esikohale kiiruse ja lihtsuse.
See detailne võrdlus uurib adaptiivsete intelligentsete mootorite arhitektuurilisi erinevusi, operatsioonilisi piiranguid ja reaalset jõudlust võrreldes fikseeritud käitumisega automatiseerimissüsteemidega. Vaatleme, kuidas süsteemid, mis pidevalt õpivad uutest keskkonnaandmetest, sobivad kokku jäikade ja ennustatavate reeglipõhiste raamistikega.
Adaptiivne otsing kohandab dünaamiliselt, kuidas ja millist teavet süsteem päringu põhjal hangib, samas kui staatilised otsingukanalid järgivad fikseeritud reegleid olenemata kontekstist. Mõlemad toetavad tänapäevaseid tehisintellekti rakendusi, kuid erinevad oluliselt paindlikkuse, maksumuse ja täpsuse poolest. Nende vahel valimine sõltub töökoormuse keerukusest ja eelarvest.
Agentide koolitamine keskkondades hõlmab õppimist reaalajas simuleeritud või füüsilise keskkonnaga suhtlemise kaudu, samas kui võrguühenduseta andmestiku koolitamine tugineb eelnevalt kogutud andmetele ilma täiendava keskkonnale juurdepääsuta. Mõlemad lähenemisviisid treenivad masinõppe mudeleid, kuid erinevad põhimõtteliselt selle poolest, kuidas agendid kogemusi koguvad ja jõudlust parandavad.
