Përputhja tekst-imazh lidh përshkrimet e shkruara me pamjet përkatëse, ndërsa përputhja imazh-imazh gjen ngjashmëri vizuale midis fotografive. Të dyja luajnë role të dallueshme në motorët e kërkimit, tregtinë elektronike dhe kanalet e trajnimit të inteligjencës artificiale, por ato mbështeten në strategji integrimi dhe raste përdorimi thelbësisht të ndryshme.
Një teknikë rikthimi që çiftëzon përshkrimet në gjuhën natyrore me imazhet përkatëse duke përdorur hapësira të përbashkëta ngulitjeje.
Një proces i vizionit kompjuterik që identifikon ngjashmëritë vizuale midis imazheve bazuar në përmbajtje, stil ose strukturë.
| Veçori | Përputhja e tekstit me imazhin | Përputhja Imazh-me-Imazh |
|---|---|---|
| Modalitetet e të Dhënave | Kërkesë teksti + bazë të dhënash imazhesh | Kërkesë për imazhe + bazë të dhënash imazhesh |
| Arkitektura Bërthamore | Enkoder i dyfishtë me mësim kontrastiv | Nxjerësit e veçorive CNN ose Vision Transformer |
| Rastet e Përdorimit Kryesor | Kërkim i bazuar në tekst, klasifikim me pikë zero, mbishkrime | Kërkim i kundërt i imazheve, heqje dublikatesh, njohje vizuale e vendeve |
| Modelet kryesore | KLIP, ALIGN, BLIP, Firence | ResNet, DINOv2, LoFTR, SuperGlue |
| Metrika e ngjashmërisë | Ngjashmëria e kosinusit në hapësirën e ngulitjes së nyjeve | Distanca Euklidiane ose distanca e Hammingut në vektorët e karakteristikave |
| Lloji i të dhënave të trajnimit | Sete të dhënash të çiftëzuara imazh-tekst nga uebi | Sete të dhënash të imazheve të etiketuara ose koleksione imazhesh të vetë-mbikëqyrura |
| Standardet e Përbashkëta | MS-COCO, Flickr30k, ImageNet (zero-shot) | Oxford5k, Paris6k, Rivizita e Oksfordit |
| Aftësi ndërmodale | Po, lidh gjuhën dhe vizionin me njëri-tjetrin. | Jo, funksionon vetëm brenda vizionit |
Sistemet e përputhjes tekst-imazh mësojnë të përshtasin semantikën gjuhësore me tiparet vizuale, që do të thotë se ato kuptojnë se çfarë përfaqëson një imazh në terma njerëzorë. Sistemet e përputhjes imazh-imazh, nga ana tjetër, përqendrohen thjesht në modelet vizuale si format, teksturat dhe paraqitjet hapësinore. E para interpreton kuptimin, ndërsa e dyta interpreton pamjen.
Trajnimi i një përputhësi tekst-imazh kërkon grupe të dhënash masive të çiftëzuara ku çdo imazh vjen me një mbishkrim ose tekst alt, prandaj modele si CLIP kishin nevojë për qindra miliona çifte të mbledhura në internet. Sistemet imazh-imazh mund të trajnohen në imazhe pa etiketa përmes vetë-mbikëqyrjes ose në grupe të dhënash më të vogla të kuruara, duke i bërë ato më fleksibël kur të dhënat e çiftëzuara janë të pakta.
Do të hasni përputhjen tekst-imazh sa herë që shkruani një përshkrim në një motor kërkimi ose përdorni mjete të inteligjencës artificiale që gjenerojnë imazhe nga kërkesat. Përputhja imazh-imazh shfaqet në kërkimin e kundërt të imazheve, zbulimin e të drejtave të autorit dhe rekomandimet vizuale të produkteve ku përdoruesit ngarkojnë një foto për të gjetur artikuj të ngjashëm.
Përputhja tekst-imazh shkëlqen kur përdoruesit mund të përshkruajnë atë që duan, por nuk kanë një imazh referimi, duke e bërë atë ideal për kërkime krijuese dhe eksploruese. Përputhja imazh-imazh fiton kur saktësia ka rëndësi dhe ekziston një referencë vizuale, siç është gjetja e variantit të saktë të produktit ose identifikimi i një pike referimi specifike.
Të dyja qasjet përfitojnë nga ngulitje të parallogaritura të ruajtura në bazat e të dhënave vektoriale për rikuperim të shpejtë në shkallë të gjerë. Megjithatë, sistemet tekst-në-imazh shpesh kërkojnë më shumë hapësirë ruajtjeje sepse ato mirëmbajnë dy enkodues dhe duhet të trajtojnë të dhëna të ndryshme gjuhësore, ndërsa sistemet imazh-në-imazh ndonjëherë mund të përdorin hashe kompakte perceptuese për përputhje të lehtë.
Përputhja tekst-imazh mund të gjejë çdo imazh nëse e përshkruani mjaftueshëm mirë.
Këto sisteme varen tërësisht nga imazhet e pranishme në bazën e të dhënave dhe konceptet e para gjatë trajnimit. Imazhet shumë specifike, të veçanta ose private nuk do të jenë të rikuperueshme as me përshkrime perfekte.
Përputhja imazh me imazh gjen gjithmonë rezultate vizualisht identike.
Sistemet moderne imazh-me-imazh përdorin karakteristika të thella që kapin ngjashmërinë semantike, në mënyrë që ato të mund të kthejnë imazhe vizualisht të ndryshme, por konceptualisht të lidhura, si racat e ndryshme të qenve kur kërkojnë një të tillë.
CLIP dhe modele të ngjashme i kuptojnë imazhet në të njëjtën mënyrë siç i kuptojnë njerëzit.
Këto modele mësojnë lidhjet statistikore midis tekstit dhe pikselëve. Ato nuk kanë kuptim të vërtetë, mund të mashtrohen nga shembuj kundërshtarë dhe nganjëherë humbasin detaje të dukshme vizuale që njerëzit i vënë re menjëherë.
Kërkimi i kundërt i imazheve përdor të njëjtën teknologji si përputhja tekst-me-imazh.
Kërkimi i kundërt i imazheve zakonisht mbështetet në përputhjen imazh-me-imazh me heshimin perceptues ose veçoritë e CNN. Përputhja tekst-me-imazh është një sistem i veçantë që kërkon një pyetje teksti në vend të një imazhi të ngarkuar.
Më shumë të dhëna trajnimi do të thotë gjithmonë performancë më e mirë përputhjeje.
Cilësia, diversiteti dhe kurimi i të dhënave kanë po aq rëndësi sa sasia. Mbitrat e zhurmshëm, grupet e të dhënave të paragjykuara ose çiftet e dyfishta mund të dëmtojnë saktësinë e rikthimit edhe me miliarda shembuj.
Zgjidhni përputhjen tekst-imazh kur përdoruesit tuaj kërkojnë me fjalë dhe ju nevojitet një kuptim semantik midis gjuhës dhe vizionit. Zgjidhni përputhjen imazh-imazh kur qëllimi kryesor është ngjashmëria vizuale, zbulimi i dublikimeve ose kërkimi i kundërt i imazheve. Shumë sisteme prodhimi në fakt i kombinojnë të dyja për një përvojë më të pasur kërkimi.
Agregimi i preferencave kombinon preferenca të shumta individuale në vendime kolektive, ndërsa modelimi i parashikimit individual parashikon sjelljen personale duke përdorur të mësuarit automatik në të dhënat e një përdoruesi të vetëm. Të dyja shërbejnë për qëllime të dallueshme në sistemet e inteligjencës artificiale, nga motorët e rekomandimeve deri te platformat demokratike të votimit.
Ky krahasim arkitektonik vë në kontrast inxhinierinë deterministe të Agjentëve të Bazuar në Rregulla me natyrën adaptive të të dhënave të Agjentëve të Bazuar në Mësim, duke vlerësuar zbatueshmërinë e tyre në botën reale, kufijtë e shkallëzimit dhe performancën në kushte pasigurie.
Ky udhëzues i detajuar shqyrton ndryshimet strukturore dhe operacionale midis agjentëve autonomë dhe sistemeve të automatizimit të skriptuar. Ndërsa mjetet e skriptuara ofrojnë parashikueshmëri të pakrahasueshme për rrjedha pune të ngurta dhe përsëritëse, agjentët inteligjentë modernë shfrytëzojnë arsyetimin kognitiv për të lundruar në mënyrë të pavarur në të dhëna të ndryshueshme, pengesa teknike të papritura dhe peizazhe të dhënash shumë komplekse dhe të pastrukturuara.
Agjentët autonomë të IA-së veprojnë në mënyrë të pavarur duke planifikuar, arsyetuar dhe ekzekutuar detyra shumë-hapëshe me ndërhyrje minimale njerëzore, ndërsa sistemet e IA-së të bazuara në shpejtësi u përgjigjen udhëzimeve individuale të përdoruesit, një ndërveprim në të njëjtën kohë. Dallimi kryesor qëndron në agjenci: agjentët ndjekin qëllimet nëpër seanca, ndërsa sistemet e shpejtësisë presin për drejtim.
Agjentët bisedorë përqendrohen në dialogun natyror dhe ndërveprimet e bazuara në tekst, ndërsa agjentët që përdorin mjete zgjerojnë aftësitë e IA-së duke thirrur funksione dhe API të jashtme. Të dy përfaqësojnë qasje të dallueshme ndaj sistemeve autonome të IA-së, me modelet bisedore që shkëlqejnë në komunikim dhe agjentët që përdorin mjete të specializuar në ekzekutimin e detyrave në botën reale.
