Vizualinių klausimų atsakymų (VQA) metodas interpretuoja vaizdus, kad atsakytų į klausimus apie vaizdinį turinį, o tekstinių klausimų atsakymų (Text QA) metodas orientuotas į atsakymų ištraukimą arba generavimą iš rašytinių ištraukų. Abu metodai priskiriami natūralios kalbos apdorojimui, tačiau iš esmės skiriasi įvesties būdais ir dirbtinio intelekto metodais, kuriais remiasi.
Dirbtinio intelekto užduotis, kai modeliai analizuoja vaizdus ir atsako į natūralios kalbos klausimus apie jų vaizdinį turinį.
Dirbtinio intelekto užduotis, kai modeliai skaito ir supranta rašytines ištraukas, kad atsakytų į klausimus, pagrįstus tekstine informacija.
| Funkcija | Vizualinis klausimų atsakymas | Atsakymai į tekstinius klausimus |
|---|---|---|
| Įvesties būdas | Vaizdai, susieti su tekstiniais klausimais | Teksto ištraukos suporuotos su tekstiniais klausimais |
| Pagrindinės dirbtinio intelekto technikos | Kompiuterinė rega, multimodaliniai transformatoriai, regos ir kalbos modeliai | Natūralios kalbos apdorojimas, transformatorių modeliai, informacijos paieška |
| Tipinės modelių architektūros | ViLBERT, LLaVA, GPT-4V, BLIP-2, Flamingo | BERT, RoBERTa, T5, GPT, paieškos ir papildymo sistemos |
| Pagrindiniai lyginamieji rodikliai | VQA v2, GQA, OK-VQA, TextVQA | SQUAD, natūralūs klausimai, TriviaQA, MS MARCO |
| Pagrindiniai iššūkiai | Vizualinis įžeminimas, OCR vaizduose, erdvinis mąstymas, dviprasmiškų vaizdinių nuorodų valdymas | Skaitymo supratimas, atsakymai į neatsakomus klausimus, kelių etapų samprotavimas, ilgalaikis konteksto supratimas |
| Duomenų reikalavimai | Vaizdo-klausimo-atsakymo tripletai, kuriems reikalingos ir vaizdinės, ir tekstinės anotacijos | Klausimų ir atsakymų poros, pagrįstos dokumentais, kurioms dažnai reikia eksperto atliktų anotacijų |
| Skaičiavimo sudėtingumas | Didesnis dėl to, kad vienu metu apdorojami ir vaizdiniai, ir tekstiniai duomenys. | Paprastai žemesnis, orientuotas į teksto tokenizavimą ir transformatoriaus dėmesį |
| Realaus pasaulio programos | Pagalbinės technologijos akliesiems, vaizdų pagrindu sukurta paieška, medicininė diagnostika, stebėjimas | Paieškos sistemos, virtualūs asistentai, edukaciniai įrankiai, teisinių dokumentų analizė |
| Istorinė raida | Kaip atskira sritis iškilo apie 2014–2015 m., išaugus gilaus mokymosi (angl. deep learning) technologijoms. | Tobulėjo dešimtmečius, o po transformatorių revoliucijos 2017 m. pasiekta didelė pažanga |
Svarbiausias šių dviejų užduočių skirtumas yra tai, ką jos apdoroja. Vizualinių klausimų atsakymų funkcija reikalauja, kad modeliai interpretuotų pikselių duomenis iš vaizdų kartu su tekstiniais klausimais, o tam reikalingi sudėtingi vaizdo kodavimo įrenginiai, galintys išskirti prasmingas ypatybes iš vaizdinio turinio. Tekstinių klausimų atsakymų funkcija, priešingai, veikia tik su rašytine kalba, leisdama modeliams sutelkti savo skaičiavimo išteklius į kalbinį supratimą, o ne skaidyti dėmesį tarp dviejų labai skirtingų duomenų tipų.
VQA sistemos paprastai sujungia vaizdo kodavimo įrenginį (pvz., CNN arba vaizdo transformatorių) su kalbos modeliu, suliedamos šiuos atvaizdavimus per kryžminio dėmesio arba projekcijos sluoksnius. Ši multimodalinė architektūra padidina sudėtingumą. Teksto kokybės užtikrinimo modeliai gali remtis vien kalbos transformatoriais, nereikalaujant vaizdo apdorojimo komponentų, todėl juos paprastai paprasčiau apmokyti ir diegti, nors jiems vis tiek reikia didelių skaičiavimo išteklių didelio masto kalbos supratimui.
Teksto kokybės užtikrinimas (VQA) dažnai reikalauja sudėtingo samprotavimo ilgose ištraukose, įskaitant kelių šuolių išvadų darymą, kai atsakymams reikia derinti informaciją iš kelių sakinių ar dokumentų. VQA pateikia papildomų samprotavimo iššūkių, tokių kaip erdvinis supratimas (kur yra objektai), skaičiavimas (kiek elementų pasirodo) ir regimieji sveiko proto įgūdžiai (kas paprastai vyksta scenoje). Abi užduotys reikalauja žinių apie pasaulį, tačiau VQA turi pagrįsti šias žinias vaizdiniais įrodymais.
Teksto kokybės užtikrinimas (QA) padarė didelę pažangą – modeliai dabar atitinka arba viršija žmogaus rezultatus tokiuose lyginamuosiuose testuose kaip SQuAD 2.0. VQA taip pat gerokai pažengė į priekį, nors ši sritis nuolat susiduria su iššūkiais, susijusiais su klausimais, kuriems reikalingos išorinės žinios, be to, kas matoma paveikslėlyje. OK-VQA įvedimas išryškino šią spragą ir paskatino tyrėjus rinktis labiau žiniomis pagrįstus vizualinio samprotavimo metodus.
Teksto kokybės užtikrinimas (VQA) dominuoja informacijos paieškos scenarijuose, naudodamasis viskuo – nuo „Google“ paieškos siūlomų ištraukų iki įmonių žinių bazių. VQA geriausiai pritaikomas ten, kur vizualinis kontekstas yra būtinas, pavyzdžiui, padedant silpnaregiams suprasti aplinką, analizuojant medicininius skenavimus arba įgalinant robotus sąveikauti su aplinka remiantis vizualinėmis užklausomis. Abi technologijos vis labiau susilieja į daugiarūšius dirbtinio intelekto asistentus, kurie gali sklandžiai apdoroti ir tekstą, ir vaizdus.
VQA modeliai gali iš tikrųjų „matyti“ ir suprasti vaizdus taip, kaip tai daro žmonės.
VQA sistemos apdoroja vaizdus kaip skaitmeninius išraiškinius ir mokosi statistinių modelių, užuot pasiekusios tikrą vaizdinį supratimą. Jos gali neatsakyti į klausimus, kuriems reikalingas sveikas protas, arba kai vaizdiniai elementai yra dviprasmiški, net jei teisingas atsakymas žmogui atrodo akivaizdus.
Teksto kokybės užtikrinimo sistemos visada pateikia tikslius, faktinius atsakymus.
Net ir pažangiausi kalbos modeliai gali generuoti tikėtinai skambančius, bet neteisingus atsakymus – šis reiškinys vadinamas haliucinacija. Teksto kokybės užtikrinimo sistemoms taip pat gali kilti sunkumų atsakant į klausimus, kuriems reikalinga informacija, kurios nėra jų mokymo duomenyse ar šaltinio dokumentuose, o jų našumas labai skiriasi priklausomai nuo sričių ir klausimų tipų.
VQA yra tiesiog vaizdų klasifikavimas su papildomais žingsniais.
VQA reikalauja daug sudėtingesnių galimybių nei klasifikavimas. Modeliai turi suprasti erdvinius ryšius, skaičiuoti objektus, skaityti tekstą vaizduose, interpretuoti scenas kontekste ir samprotauti apie vaizdinius elementus, susijusius su natūralios kalbos užklausomis. Dėl to tai yra žymiai sudėtingesnė problema nei paprastas vaizdų žymėjimas.
Teksto kokybės užtikrinimas taps nebeaktualus, nes dirbtinis intelektas pereis prie multimodalinių sistemų.
Teksto kokybės užtikrinimas išlieka esminis net ir augant multimodaliniam dirbtiniam intelektui. Didžioji dalis realaus pasaulio informacijos vis dar egzistuoja teksto formatu, o gryno teksto sistemos dažnai pranoksta multimodalinius modelius atliekant užduotis, kuriose naudojamas tik tekstas, ir reikalauja mažiau skaičiavimo išteklių. Multimodalinės sistemos paprastai remiasi teksto kokybės užtikrinimo galimybėmis, o ne jas pakeičia.
Tiek VQA, tiek teksto QA reikalauja tokio paties tipo ir kiekio mokymo duomenų.
VQA reikalauja brangių anotuotų duomenų rinkinių, jungiančių vaizdus su klausimais ir atsakymais, dažnai pasitelkiant minios darbuotojus, kad būtų sugeneruoti įvairūs klausimai apie vaizdinį turinį. Teksto kokybės užtikrinimas gali panaudoti esamus dokumentus ir ištraukas, nors aukštos kokybės klausimų ir atsakymų porų kūrimas vis tiek reikalauja didelių žmogiškųjų anotacijų pastangų.
Rinkitės vizualinius klausimų atsakymus, kai jūsų programai reikia suprasti vaizdus, vaizdo įrašų kadrus ar vaizdinius dokumentus, kur vien teksto nepakanka. Tekstiniai klausimų atsakymai išlieka geresniu pasirinkimu dokumentų analizei, paieškos sistemoms ir scenarijams, kai informacija daugiausia pateikiama rašytine forma. Šiuolaikinės dirbtinio intelekto sistemos vis dažniau derina abi galimybes, todėl praktiškiausias būdas dažnai apima multimodalinių modelių, kurie apdoroja ir vaizdinę, ir tekstinę įvestis, diegimą.
„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.
„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.
„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.
„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.
A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.
