Vyhľadávanie na základe obrázkov interpretuje vizuálny obsah s cieľom nájsť zhody, zatiaľ čo textové vyhľadávanie sa spolieha na písomné dotazy a indexovanie dokumentov. Oba prístupy sú základom moderných vyhľadávačov, ale výrazne sa líšia v tom, ako chápu zámer používateľa a spracovávajú informácie naprieč rôznymi typmi údajov.
Prístup k vyhľadávaniu, ktorý analyzuje vizuálny obsah pomocou počítačového videnia a hlbokého učenia s cieľom nájsť relevantné zhody.
Tradičná metóda vyhľadávania, ktorá porovnáva písomné dopyty s indexovanými textovými dokumentmi pomocou analýzy kľúčových slov a sémantickej analýzy.
| Funkcia | Vyhľadávanie s ohľadom na obraz | Vyhľadávanie na základe textu |
|---|---|---|
| Primárny vstup | Obrázky, vizuálny obsah, niekedy kombinované s textom | Písomné otázky, kľúčové slová, otázky v prirodzenom jazyku |
| Základná technológia | Počítačové videnie, CNN, transformátory videnia, CLIP modely | Spracovanie prirodzeného jazyka, BM25, husté vnorenia, BERT |
| Najlepšie prípady použitia | Vizuálne vyhľadávanie produktov, identifikácia orientačných bodov, spätné vyhľadávanie obrázkov | Vyhľadávanie dokumentov, vyhľadávanie na webe, akademický výskum, podnikové znalostné bázy |
| Zložitosť dotazu | Môže to byť také jednoduché ako nahranie fotografie | Vyžaduje od používateľov, aby vyjadrili svoj zámer slovami |
| Sémantické porozumenie | Rozumie vizuálnej podobnosti, štýlu, kompozícii a kontextu | Rozumie synonymám, zámeru, kontextu a jazykovým nuansám |
| Požiadavky na údaje | Veľké označené súbory obrázkov, databázy vizuálnych prvkov | Textové korpusy, indexy dokumentov, databázy kľúčových slov |
| Rýchlosť spracovania | Vo všeobecnosti pomalšie kvôli réžii spracovania obrazu | Typicky rýchlejšie s optimalizovanými štruktúrami indexovania |
| Presnosť pri nejednoznačných dopytoch | Vizuálny kontext sa dá prirodzene jednoznačne rozlíšiť | Môže mať problémy bez dostatočného textového kontextu |
Vyhľadávanie s ohľadom na obraz začína analýzou vizuálneho obsahu nahraného obrázka a jeho rozdelením na prvky, ako sú tvary, farby, textúry a rozpoznané objekty. Tieto prvky sa prevedú na matematické reprezentácie nazývané vnorenia, ktoré zachytávajú sémantický význam obrázka. Vyhľadávanie na základe textu ide zásadne inou cestou, pričom analyzuje písomné dopyty na identifikáciu kľúčových slov, chápe ich vzťahy a porovnáva ich s predindexovanými dokumentmi pomocou algoritmov, ktoré vážia relevantnosť na základe frekvencie výrazov a sémantickej podobnosti.
Keď nájdete kus nábytku, ktorý sa vám páči, ale neviete, ako ho opísať, vyhľadávanie na základe obrázkov vám umožní odfotiť si a okamžite nájsť podobné položky. Vyhľadávanie na základe textu dominuje, keď potrebujete presné vyhľadávanie informácií z rozsiahlych zbierok dokumentov, ako je napríklad hľadanie konkrétnych právnych precedensov alebo akademických prác. Tieto dva prístupy sa v moderných systémoch v skutočnosti dobre dopĺňajú, pričom mnohé platformy teraz ponúkajú hybridné vyhľadávanie, ktoré kombinuje obe modality.
Neurónové architektúry, ktoré tieto systémy poháňajú, sa podstatne líšia. Vyhľadávanie s ohľadom na obraz sa spolieha na modely videnia trénované na rozsiahlych súboroch obrazových údajov, ako je LAION-5B, ktoré sa učia rozpoznávať vzory naprieč miliónmi vizuálnych príkladov. Vyhľadávanie založené na texte stavia na desaťročiach výskumu vyhľadávania informácií a zahŕňa klasické algoritmy, ako je BM25, aj moderné prístupy založené na transformátoroch. Nedávny pokrok v multimodálnych modeloch začal tieto hranice stierať a umožňuje systémom, ktoré rozumejú obrázkom aj textu v rámci jednotných rámcov.
Vyhľadávanie na základe obrázkov odstraňuje stres z opisovania toho, čo hľadáte, slovami, čo sa ukazuje ako neoceniteľné, keď je ťažké artikulovať vizuálne prvky. Vyhľadávanie na základe textu ponúka väčšiu presnosť, keď presne viete, aké informácie potrebujete, a viete ich jasne vyjadriť. Používatelia často považujú textové vyhľadávanie za predvídateľnejšie, pretože presne vidia, ako ich dopyt zodpovedá výsledkom, zatiaľ čo vizuálne vyhľadávanie niekedy vracia prekvapivé, ale relevantné zhody na základe vizuálnej podobnosti.
Vyhľadávanie na základe obrázkov zápasí s abstraktnými konceptmi, ktoré nemajú jasné vizuálne znázornenia, a vyžaduje si značné výpočtové zdroje na spracovanie v reálnom čase. Vyhľadávanie na základe textu čelí problémom s nesúladom slovnej zásoby, kde používatelia opisujú niečo pomocou iných výrazov, ako sú tie, ktoré sú uvedené v dokumentoch. Oba prístupy sa neustále vyvíjajú a výskumníci aktívne pracujú na lepšom medzimodálnom porozumení, ktoré by nakoniec mohlo znížiť význam rozdielu medzi nimi.
Vyhľadávanie s ohľadom na obraz dokáže čítať text v obrázkoch rovnako dobre ako špecializované systémy OCR.
Hoci moderné systémy s rozpoznávaním obrazu dokážu vykonávať OCR, zvyčajne na to nie sú optimalizované. Špecializované systémy OCR ako Tesseract alebo cloudové služby od spoločností Google a AWS vo všeobecnosti poskytujú vyššiu presnosť pri úlohách extrakcie textu, najmä pri zložitých rozloženiach alebo ručne písanom obsahu.
Vyhľadávanie na základe textu sa stáva zastaraným kvôli pokroku v umelej inteligencii.
Vyhľadávanie na základe textu zostáva dominantnou formou vyhľadávania na celom svete. Umelá inteligencia ho v skutočnosti vylepšila vďaka lepšiemu sémantickému porozumeniu, ale základný prístup porovnávania textových dopytov s textovými dokumentmi naďalej poháňa väčšinu vyhľadávačov, podnikových systémov a výskumných databáz.
Vyhľadávanie s ohľadom na obraz vždy vracia presnejšie výsledky ako vyhľadávanie na základe textu.
Presnosť závisí výlučne od prípadu použitia. Pri hľadaní konkrétneho dokumentu alebo odpovedi na faktickú otázku textové vyhľadávanie zvyčajne prevyšuje vizuálne prístupy. Vyhľadávanie s ohľadom na obrazy vyniká najmä vtedy, keď je vizuálna podobnosť primárnym kritériom relevantnosti.
Na implementáciu ktoréhokoľvek z týchto prístupov k vyhľadávaniu potrebujete rozsiahle súbory údajov.
Vopred trénované modely a API sprístupnili oba prístupy bez nutnosti školenia od začiatku. Služby ako Google Cloud Vision, AWS Rekognition a CLIP od OpenAI poskytujú funkcie pripravené na použitie, ktoré môžu malé tímy integrovať bez rozsiahlych skúseností so strojovým učením.
Vizuálne vyhľadávanie úplne nahrádza potrebu textových popisov v elektronickom obchode.
Väčšina úspešných platforiem elektronického obchodu používa hybridné prístupy. Textové popisy zostávajú kľúčové pre SEO, prístupnosť a používateľov, ktorí uprednostňujú písanie dotazov. Vizuálne vyhľadávanie slúži skôr ako doplnková funkcia než ako náhrada, čo je obzvlášť užitočné pre používateľov mobilných zariadení a tých, ktorí nevedia ľahko opísať, čo chcú.
Vyhľadávanie s obrázkami zvoľte vtedy, keď je vizuálna podobnosť najdôležitejšia, napríklad pri nakupovaní produktov, identifikácii objektov alebo hľadaní vizuálne podobných dizajnov. Vyhľadávanie na základe textu zostáva lepšou voľbou pre úlohy s vysokým obsahom informácií, ako je výskum, vyhľadávanie dokumentov a situácie, kde presné textové dopyty prinášajú najlepšie výsledky. Mnohé moderné aplikácie profitujú z kombinácie oboch prístupov pre komplexné vyhľadávacie možnosti.
A/B testovanie v modelových službách smeruje prevádzku medzi konkurenčnými verziami modelov na meranie reálneho výkonu, zatiaľ čo nasadenie jedného modelu poskytuje jeden model všetkým používateľom. Tímy si medzi nimi vyberajú na základe tolerancie rizika, objemu prevádzky a potreby štatistického overenia pred úplným nasadením.
A/B testovanie pri vydávaní obsahu zahŕňa zavádzanie variácií pre rôzne segmenty publika a meranie výkonnosti, zatiaľ čo jednorazové vydania obsahu ponúkajú jednu verziu všetkým naraz. Každý prístup vyhovuje iným cieľom, pričom A/B testovanie uprednostňuje optimalizáciu na základe dát a jednorazové vydania uprednostňujú rýchlosť a jednoduchosť.
Toto porovnanie analyzuje strategické voľby v strojovom učení medzi adaptáciou domény, ktorá prenáša znalosti z označeného zdrojového prostredia do iného cieľového prostredia, a školením v rámci domény, ktoré vytvára modely výlučne na základe údajov získaných z presného cieľového nastavenia nasadenia.
Toto podrobné porovnanie skúma architektonické rozdiely, prevádzkové limity a reálny výkon adaptívnych inteligenčných systémov v porovnaní so systémami automatizácie s pevným správaním. Pozrieme sa na to, ako systémy, ktoré sa neustále učia z nových environmentálnych údajov, fungujú v porovnaní s rigidnými, predvídateľnými rámcami založenými na pravidlách.
Adaptívne vyhľadávanie dynamicky upravuje spôsob a aké informácie systém načítava na základe dotazu, zatiaľ čo statické vyhľadávacie kanály sa riadia pevnými pravidlami bez ohľadu na kontext. Obe poháňajú moderné aplikácie umelej inteligencie, ale výrazne sa líšia vo flexibilite, nákladoch a presnosti. Výber medzi nimi závisí od zložitosti pracovnej záťaže a rozpočtu.
