Sudėtinio vaizdo paieškos (CIR) funkcija leidžia vartotojams ieškoti naudojant atskaitos vaizdą ir teksto pakeitimus, o tradicinė vaizdų paieška remiasi tik vienu vaizdu arba teksto užklausa. CIR pateikia daug tikslesnius, ketinimais pagrįstus rezultatus, o tradiciniai metodai išlieka greitesni ir plačiau naudojami kasdienėse platformose.
Dirbtinio intelekto technika, kuri sujungia atskaitos vaizdą su teksto užklausa, kad rastų vizualiai panašius, bet modifikuotus vaizdus, atitinkančius vartotojo ketinimus.
Įprasti vaizdų paieškos metodai, kurie suranda vieną vaizdą arba tekstinę užklausą duomenų bazėje, naudodami vaizdinį arba raktinių žodžių panašumą.
| Funkcija | Sukurto vaizdo paieška | Tradicinė vaizdų paieška |
|---|---|---|
| Užklausos tipas | Vaizdo + teksto modifikavimas | Tik vienas paveikslėlis arba tekstas |
| Pagrindinė technologija | Multimodaliniai transformatoriai (CLIP, BLIP) | CNN funkcijų išskyrimas arba raktinių žodžių atitikimas |
| Tikslumas ketinimų srityje | Aukštas – fiksuoja naudotojo pakeitimus | Žemas arba vidutinis – atitinka tik išvaizdą |
| Diegimo branda | Besiformuojantys, daugiausia tyrimų stadijoje | Plačiai įdiegta pagrindinėse platformose |
| Geriausi naudojimo atvejai | Mada, produktų variantai, dizaino redagavimas | Bendra žiniatinklio paieška, veido atpažinimas, dublikatai |
| Greitis | Lėtesnis dėl dvigubo kodavimo | Greitas, optimizuotas milijardams vaizdų |
| Reikalingi vartotojo įgūdžiai | Vidutinis – reikalingas informacinis paveikslėlis | Žemas – užtenka teksto arba įkėlimo |
| Dviprasmybių valdymas | Išsprendžiama teksto dviprasmybės šalinimu | Grąžina plačius rezultatus, vartotojas filtruoja rankiniu būdu |
Sukurto vaizdo paieškos sistema vienu metu priima du įvesties duomenis: atskaitos vaizdą ir natūralia kalba parašytą aprašymą, kaip tą vaizdą reikėtų modifikuoti. Tada sistema ieško vaizdų, kurie vizualiai primena atskaitos vaizdą, bet apima tekstinius pakeitimus. Tradicinė vaizdų paieška, priešingai, vienu metu priima tik vieną įvestį: vieną vaizdą vizualinio panašumo atitikimui arba teksto eilutę raktiniams žodžiams pagrįstą paiešką. Šis esminis skirtumas lemia viską – nuo tikslumo iki naudotojo patirties.
Kai vartotojai turi omenyje konkretų pakeitimą, CIR gerokai pranoksta tradicinę paiešką, nes supranta ne tik išvaizdą, bet ir ketinimą. Pavyzdžiui, ieškant „ši suknelė, bet mėlyna“, pateikiami atitinkami variantai, o tradicinė vaizdų paieška rastų tik vizualiai panašias sukneles, neatsižvelgiant į spalvą. Tradiciniai metodai puikiai tinka atliekant plataus panašumo užduotis, tačiau jiems sunkiau, kai vartotojas nori kažko panašaus, bet kartu ir ryškiai skirtingo nuo referencinio varianto.
CIR sistemos remiasi multimodaliniais modeliais, kurie kartu supranta vaizdus ir tekstą, dažniausiai sukurtais remiantis tokiais pagrindiniais modeliais kaip CLIP, BLIP arba naujesnėmis regėjimo kalbos architektūromis. Šie modeliai koduoja abu įvestis į bendrą įterpimo erdvę, kurioje panašumą galima prasmingai apskaičiuoti. Tradicinė vaizdų paieška naudoja senesnius, bet gerai optimizuotus srautus: CNN pagrįstą požymių išskyrimą vizualinei paieškai arba apverstus indeksus su TF-IDF svoriu teksto užklausoms. Naujesnis metodas reikalauja daugiau skaičiavimo pajėgumų, bet siūlo platesnį semantinį supratimą.
Tradicinė vaizdų paieška dominuoja vartotojų programose, nes ji efektyviai keičiasi ir lengvai integruojasi su esama paieškos infrastruktūra. „Google Images“, „Pinterest“ vaizdinė paieška ir nuotraukų platformos naudoja šio metodo variantus. CIR populiarėja specializuotose srityse, tokiose kaip el. prekyba, kur pirkėjai nori rasti produktų variantų, ir kūrybiniuose įrankiuose, kur dizaineriams reikia tyrinėti etaloninių vaizdų modifikacijas. Tikimasi, kad per ateinančius kelerius metus CIR funkcijos pasirodys apsipirkimo programose ir dizaino programinėje įrangoje.
CIR vis dar susiduria su sunkumais dėl duomenų rinkinių trūkumo, nes anotuotų (nuorodinio vaizdo, modifikavimo teksto, tikslinio vaizdo) trejetų kūrimas dideliu mastu yra brangus. Modeliams taip pat gali kilti sunkumų su sudėtingomis arba dviprasmiškomis tekstinėmis instrukcijomis. Tradicinė vaizdų paieška turi savo trūkumų, ypač semantinio supratimo srityje – ieškant „laimingas šuo“ galima praleisti džiaugsmingo šuniuko nuotrauką, nes vizualinės savybės neatitinka raktinių žodžių lūkesčių. Abu metodai toliau vystosi, o hibridinės sistemos greičiausiai atstovauja ateičiai.
Tradicinė vaizdų paieška iš tikrųjų supranta, kas yra paveikslėlyje.
Dauguma tradicinių tekstinių vaizdų paieškos sistemų remiasi failų pavadinimais, alternatyviuoju tekstu ir aplinkiniu tinklalapio turiniu, o ne paties vaizdo analize. Tik šiuolaikinės vizualinės paieškos priemonės, naudojančios gilųjį mokymąsi, iš tikrųjų interpretuoja vaizdo turinį, ir net jos neturi kompozicinio samprotavimo, kurį teikia CIR.
CIR yra tiesiog vaizdų paieška su papildomais žingsniais.
Sudėtinių vaizdų paieška (angl. Composed Image Retrieval) atstovauja iš esmės kitokiai paradigmai. Užuot ieškojusi panašių vaizdų, ji randa vaizdus, kurie atitinka vartotojo aprašytą transformaciją. Tam reikia bendro samprotavimo įvairiais būdais, o ne tik nuoseklaus dviejų atskirų užklausų apdorojimo.
Atvirkštinė vaizdų paieška ir CIR yra tas pats.
Atvirkštinė vaizdų paieška randa pasikartojančius arba vizualiai panašius vaizdus pagal žemo lygio požymius. CIR dar labiau supranta teksto modifikacijas ir pateikia panašius, bet sąmoningai nuo nuorodos vaizdus, ko atvirkštinė paieška negali padaryti.
CIR veikia puikiai iš karto.
Dabartiniai CIR modeliai vis dar susiduria su sudėtingomis instrukcijomis, dviprasmiškomis nuorodomis ir užklausomis, skirtomis neplatinimui. Našumas labai skiriasi skirtingose srityse, o modelius dažnai reikia tiksliai suderinti su konkrečiais naudojimo atvejais, pavyzdžiui, mados ar baldų paieškos srityje.
Dėl dirbtinio intelekto tradicinė vaizdų paieška yra pasenusi.
Tradiciniai metodai išlieka gamybinės vaizdų paieškos pagrindu tokiose įmonėse kaip „Google“ ir „Pinterest“. Dirbtinio intelekto patobulinimai juos patobulino, tačiau pagrindinė funkcijų išskyrimo ir panašumų atitikimo architektūra vis dar kasdien sukelia milijardus užklausų.
Rinkitės „Composed Image Retrieval“, kai jums reikia tikslių, ketinimais pagrįstų rezultatų ir turite atskaitos vaizdą bei aiškų modifikavimą galvoje, ypač el. prekybos ar dizaino kontekstuose. Kasdienėms užklausoms, plačiai paieškai arba kai greitis ir mastas yra svarbesni už smulkų valdymą, rinkitės tradicinę vaizdų paiešką. Tobulėjant daugiarūšiam dirbtiniam intelektui, tikimasi, kad šie du metodai susilies į vieningą paieškos patirtį.
„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.
„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.
„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.
„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.
A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.
