Vyhľadávanie zložených obrázkov umožňuje používateľom vyhľadávať pomocou referenčného obrázka a úprav textu, zatiaľ čo tradičné vyhľadávanie obrázkov sa spolieha buď na jeden obrázok, alebo na textový dopyt. CIR poskytuje oveľa presnejšie výsledky zamerané na zámer, zatiaľ čo tradičné metódy zostávajú rýchlejšie a širšie používané na bežných platformách.
Technika umelej inteligencie, ktorá kombinuje referenčný obrázok s textovým dopytom na nájdenie vizuálne podobných, ale upravených obrázkov zodpovedajúcich zámeru používateľa.
Konvenčné metódy vyhľadávania obrázkov, ktoré porovnávajú jeden obrázok alebo textový dopyt s databázou pomocou vizuálnej alebo kľúčovej podobnosti.
| Funkcia | Vyhľadávanie zloženého obrazu | Tradičné vyhľadávanie obrázkov |
|---|---|---|
| Typ dopytu | Úprava obrázka + textu | Iba jeden obrázok alebo text |
| Základná technológia | Multimodálne transformátory (CLIP, BLIP) | Extrakcia prvkov CNN alebo porovnávanie kľúčových slov |
| Presnosť v zámere | Vysoká – zachytáva úpravy používateľa | Nízka až stredná – zhoduje sa iba s vzhľadom |
| Zrelosť nasadenia | Vznikajúce, prevažne vo fáze výskumu | Široko nasadené na hlavných platformách |
| Najlepšie prípady použitia | Móda, varianty produktov, úpravy dizajnu | Všeobecné vyhľadávanie na webe, porovnávanie tvárí, duplikáty |
| Rýchlosť | Pomalšie kvôli duálnemu kódovaniu | Rýchly, optimalizovaný pre miliardy obrázkov |
| Požadované používateľské zručnosti | Stredné – potrebný referenčný obrázok | Nízka – stačí text alebo nahranie |
| Riešenie nejednoznačnosti | Rieši sa prostredníctvom jednoznačnej dvojznačnosti textu | Vráti široké výsledky, používateľ filtruje manuálne |
Vyhľadávanie zložených obrázkov prijíma dva vstupy súčasne: referenčný obrázok a popis v prirodzenom jazyku, ako by sa mal tento obrázok upraviť. Systém potom vyhľadáva obrázky, ktoré sa vizuálne podobajú referenčnému obrázku, ale zahŕňajú textové zmeny. Tradičné vyhľadávanie obrázkov naopak akceptuje iba jeden vstup naraz, buď jeden obrázok pre vizuálnu podobnosť, alebo textový reťazec pre vyhľadávanie na základe kľúčových slov. Tento zásadný rozdiel formuje všetko od presnosti až po používateľskú skúsenosť.
Keď majú používatelia na mysli konkrétnu úpravu, CIR dramaticky prekonáva tradičné vyhľadávanie, pretože chápe zámer, a nie len vzhľad. Napríklad vyhľadávanie výrazu „tieto šaty, ale v modrej farbe“ vráti relevantné varianty, zatiaľ čo tradičné vyhľadávanie obrázkov by našlo iba vizuálne podobné šaty bez ohľadu na farbu. Tradičné metódy vynikajú v úlohách širokej podobnosti, ale majú problém, keď používateľ chce niečo podobné, ale zároveň výrazne odlišné od referencie.
Systémy CIR sa spoliehajú na multimodálne modely, ktoré spoločne chápu obrázky a text, najčastejšie postavené na základných modeloch ako CLIP, BLIP alebo novších architektúrach vizuálneho jazyka. Tieto modely kódujú oba vstupy do zdieľaného vkladacieho priestoru, kde je možné zmysluplne vypočítať podobnosť. Tradičné vyhľadávanie obrázkov používa staršie, ale dobre optimalizované kanály: extrakciu prvkov založenú na CNN pre vizuálne vyhľadávanie alebo invertované indexy s váhovaním TF-IDF pre textové dotazy. Novší prístup vyžaduje viac výpočtov, ale ponúka bohatšie sémantické porozumenie.
Tradičné vyhľadávanie obrázkov dominuje spotrebiteľským aplikáciám, pretože sa efektívne škáluje a ľahko integruje s existujúcou vyhľadávacou infraštruktúrou. Platformy Google Images, vizuálne vyhľadávanie na Pintereste a platformy s fotobankami používajú rôzne variácie tohto prístupu. CIR získava na popularite v špecializovaných oblastiach, ako je elektronický obchod, kde zákazníci chcú nájsť variácie produktov, a v kreatívnych nástrojoch, kde dizajnéri potrebujú preskúmať úpravy referenčných obrázkov. Očakávajte, že funkcie CIR sa v najbližších rokoch objavia v nákupných aplikáciách a dizajnérskom softvéri.
CIR stále čelí prekážkam súvisiacim s nedostatkom dátových súborov, pretože vytváranie anotovaných trojíc (referenčný obrázok, modifikačný text, cieľový obrázok) vo veľkom meradle je drahé. Modely môžu tiež mať problémy so zložitými alebo nejednoznačnými textovými inštrukciami. Tradičné vyhľadávanie obrázkov má svoje slabiny, najmä pokiaľ ide o sémantické porozumenie – pri vyhľadávaní výrazu „šťastný pes“ sa môže prehliadnuť fotografia radostného šteniatka, pretože vizuálne prvky nezodpovedajú očakávaniam kľúčových slov. Oba prístupy sa neustále vyvíjajú, pričom hybridné systémy pravdepodobne predstavujú budúcnosť.
Tradičné vyhľadávanie obrázkov v skutočnosti rozumie tomu, čo je na obrázku.
Väčšina starších textových vyhľadávaní obrázkov sa spolieha na názvy súborov, alternatívny text a obsah okolitých webových stránok, a nie na analýzu samotného obrázka. Iba moderné vizuálne vyhľadávacie nástroje využívajúce hlboké učenie skutočne interpretujú obsah obrázka a aj tie postrádajú kompozičné uvažovanie, ktoré poskytuje CIR.
CIR je len vyhľadávanie obrázkov s ďalšími krokmi.
Vyhľadávanie zložených obrázkov predstavuje zásadne odlišnú paradigmu. Namiesto hľadania podobných obrázkov vyhľadáva obrázky, ktoré zodpovedajú transformácii opísanej používateľom. To si vyžaduje spoločné uvažovanie naprieč modalitami, nielen postupné spracovanie dvoch samostatných dopytov.
Reverzné vyhľadávanie obrázkov a CIR sú to isté.
Reverzné vyhľadávanie obrázkov vyhľadáva duplikáty alebo vizuálne podobné obrázky na základe nízkoúrovňových prvkov. CIR ide ďalej tým, že chápe textové úpravy a vracia obrázky, ktoré sú podobné, ale zámerne sa líšia od referencie, čo reverzné vyhľadávanie nedokáže.
CIR funguje perfektne hneď po vybalení z krabice.
Súčasné modely CIR stále zápasia so zložitými inštrukciami, nejednoznačnými referenciami a dotazmi na nedostatky v distribúcii. Výkon sa v jednotlivých oblastiach výrazne líši a modely často potrebujú jemné doladenie pre špecifické prípady použitia, ako je móda alebo vyhľadávanie nábytku.
Tradičné vyhľadávanie obrázkov je vďaka umelej inteligencii zastarané.
Tradičné metódy zostávajú chrbticou vyhľadávania produkčných obrázkov v spoločnostiach ako Google a Pinterest. Vylepšenia umelej inteligencie ich síce zlepšili, ale základná architektúra extrakcie prvkov a porovnávania podobností stále generuje miliardy dopytov každý deň.
Vyberte si vyhľadávanie zložených obrázkov, keď potrebujete presné výsledky zamerané na zámer a máte na mysli referenčný obrázok a jasnú úpravu, najmä v kontexte elektronického obchodu alebo dizajnu. Tradičné vyhľadávanie obrázkov sa držte pre každodenné dopyty, široké skúmanie alebo keď rýchlosť a rozsah dôležitejšie ako jemnozrnná kontrola. S rozvojom multimodálnej umelej inteligencie očakávajte, že tieto dva prístupy sa spoja do jednotných vyhľadávacích zážitkov.
A/B testovanie v modelových službách smeruje prevádzku medzi konkurenčnými verziami modelov na meranie reálneho výkonu, zatiaľ čo nasadenie jedného modelu poskytuje jeden model všetkým používateľom. Tímy si medzi nimi vyberajú na základe tolerancie rizika, objemu prevádzky a potreby štatistického overenia pred úplným nasadením.
A/B testovanie pri vydávaní obsahu zahŕňa zavádzanie variácií pre rôzne segmenty publika a meranie výkonnosti, zatiaľ čo jednorazové vydania obsahu ponúkajú jednu verziu všetkým naraz. Každý prístup vyhovuje iným cieľom, pričom A/B testovanie uprednostňuje optimalizáciu na základe dát a jednorazové vydania uprednostňujú rýchlosť a jednoduchosť.
Toto porovnanie analyzuje strategické voľby v strojovom učení medzi adaptáciou domény, ktorá prenáša znalosti z označeného zdrojového prostredia do iného cieľového prostredia, a školením v rámci domény, ktoré vytvára modely výlučne na základe údajov získaných z presného cieľového nastavenia nasadenia.
Toto podrobné porovnanie skúma architektonické rozdiely, prevádzkové limity a reálny výkon adaptívnych inteligenčných systémov v porovnaní so systémami automatizácie s pevným správaním. Pozrieme sa na to, ako systémy, ktoré sa neustále učia z nových environmentálnych údajov, fungujú v porovnaní s rigidnými, predvídateľnými rámcami založenými na pravidlách.
Adaptívne vyhľadávanie dynamicky upravuje spôsob a aké informácie systém načítava na základe dotazu, zatiaľ čo statické vyhľadávacie kanály sa riadia pevnými pravidlami bez ohľadu na kontext. Obe poháňajú moderné aplikácie umelej inteligencie, ale výrazne sa líšia vo flexibilite, nákladoch a presnosti. Výber medzi nimi závisí od zložitosti pracovnej záťaže a rozpočtu.
