dirbtinis intelektasinformacijos paieškakompiuterinis matymasnatūralios kalbos apdorojimaspaieškos technologija

Vaizdų suvokimas ir teksto pagrindu veikianti paieška

Vaizdais pagrįsta paieška interpretuoja vaizdinį turinį, kad surastų atitikmenis, o tekstu pagrįsta paieška remiasi rašytinėmis užklausomis ir dokumentų indeksavimu. Abu metodai yra šiuolaikinių paieškos sistemų pagrindas, tačiau jie labai skiriasi tuo, kaip supranta naudotojo ketinimus ir apdoroja informaciją skirtinguose duomenų tipuose.

Akcentai

Vaizdais pagrįsta paieška panaikina poreikį apibūdinti vaizdinį turinį žodžiais, todėl tai idealiai tinka apsipirkimo ir identifikavimo užduotims
Tekstu pagrįsta paieška užtikrina didesnį dokumentų paieškos ir informacijos paieškos tikslumą dideliuose teksto korpusuose.
Šiuolaikiniai multimodaliniai modeliai, tokie kaip CLIP, mažina atotrūkį tarp vizualinio ir tekstinio supratimo.
Tekstu pagrįsta paieška pasinaudoja dešimtmečius trukusiais tyrimais ir brandžiais algoritmais, tokiais kaip BM25 ir BERT pagrįstas reitingavimas.

Kas yra Vaizdo suvokimas?

Paieškos metodas, kuris analizuoja vaizdinį turinį naudodamas kompiuterinę regą ir gilųjį mokymąsi, kad rastų atitinkamus atitikmenis.

Vaizdus suvokiančios paieškos sistemos naudoja konvoliucinius neuroninius tinklus ir regėjimo transformatorius, kad iš vaizdų išskirtų ypatybes.
Šiuolaikinės sistemos, tokios kaip „OpenAI“ sukurtos CLIP, mokosi bendrų vaizdų ir teksto įterpimų, kad galėtų atlikti įvairiarūšę paiešką.
Vizualinės paieškos sistemos gali atpažinti objektus, scenas, tekstą vaizduose ir net abstrakčias sąvokas
„Pinterest Lens“ ir „Google Lens“ kas mėnesį apdoroja milijardus vaizdinių užklausų, naudodami vaizdų atpažinimo technologijas.
Vaizdais pagrįsta paieška puikiai tinka ieškant vizualiai panašių produktų, orientyrų ir meno kūrinių, nereikalaujant tekstinių aprašymų.

Kas yra Tekstu pagrįsta paieška?

Tradicinis paieškos metodas, kuris, naudodamas raktinių žodžių ir semantinę analizę, susieja rašytines užklausas su indeksuotais tekstiniais dokumentais.

Tekstu pagrįsta paieška atsirado septintajame dešimtmetyje, kai Kornelio universitete buvo sukurtos tokios ankstyvosios sistemos kaip SMART.
Šiuolaikinis teksto paieškos algoritmas naudoja BM25, TF-IDF ir tankius teksto paieškos algoritmus rezultatams reitinguoti.
Paieškos sistemos, tokios kaip „Google“, kasdien apdoroja daugiau nei 8,5 milijardo teksto paieškų, naudodamos teksto pagrindu veikiančią paiešką.
BERT ir kiti transformatorių modeliai smarkiai pagerino semantinį teksto paieškos supratimą
Tekstu pagrįsta paieška sudaro daugumos įmonių paieškos, teisinių duomenų bazių ir akademinių tyrimų įrankių pagrindą.

Palyginimo lentelė

Funkcija	Vaizdo suvokimas	Tekstu pagrįsta paieška
Pirminė įvestis	Vaizdai, vaizdinis turinys, kartais derinamas su tekstu	Rašytinės užklausos, raktiniai žodžiai, natūralios kalbos klausimai
Pagrindinė technologija	Kompiuterinė rega, CNN, regos transformatoriai, CLIP modeliai	Natūralios kalbos apdorojimas, BM25, tankūs įterpimai, BERT
Geriausi naudojimo atvejai	Vizualinė produktų paieška, orientyrų identifikavimas, atvirkštinė vaizdo paieška	Dokumentų paieška, paieška internete, akademiniai tyrimai, įmonių žinių bazės
Užklausos sudėtingumas	Gali būti taip paprasta, kaip įkelti nuotrauką	Reikalaujama, kad vartotojai savo ketinimus išreikštų žodžiais
Semantinis supratimas	Supranta vizualinį panašumą, stilių, kompoziciją ir kontekstą	Supranta sinonimus, ketinimus, kontekstą ir kalbinius niuansus
Duomenų reikalavimai	Dideli paženklinti vaizdų duomenų rinkiniai, vizualinių ypatybių duomenų bazės	Teksto korpusai, dokumentų indeksai, raktinių žodžių duomenų bazės
Apdorojimo greitis	Paprastai lėčiau dėl vaizdo apdorojimo pridėtinių sąnaudų	Paprastai greitesnis su optimizuotomis indeksavimo struktūromis
Tikslumas dviprasmiškose užklausose	Vizualinis kontekstas gali natūraliai išryškėti	Gali būti sunku be pakankamo tekstinio konteksto

Išsamus palyginimas

Kaip jie apdoroja užklausas

Vaizdu pagrįsta paieška prasideda nuo įkelto vaizdo vizualinio turinio analizės, jo suskaidymo į tokias savybes kaip formos, spalvos, tekstūros ir atpažinti objektai. Šios savybės paverčiamos matematiniais vaizdais, vadinamais įterpimais elementais, kurie fiksuoja vaizdo semantinę reikšmę. Tekstu pagrįsta paieška atliekama iš esmės kitaip: analizuojant rašytines užklausas, siekiant nustatyti raktinius žodžius, suprasti jų ryšius ir palyginti juos su iš anksto indeksuotais dokumentais, naudojant algoritmus, kurie vertina aktualumą pagal terminų dažnumą ir semantinį panašumą.

Stiprybės skirtinguose scenarijuose

Kai pastebite jums patinkantį baldą, bet nežinote, kaip jį apibūdinti, vaizdų pagrindu veikianti paieška sužiba, leisdama nufotografuoti ir akimirksniu rasti panašius daiktus. Tekstu pagrįsta paieška dominuoja, kai reikia tiksliai rasti informaciją iš didelių dokumentų rinkinių, pavyzdžiui, rasti konkrečius teisinius precedentus ar akademinius darbus. Šie du metodai šiuolaikinėse sistemose iš tikrųjų gerai papildo vienas kitą, o daugelis platformų dabar siūlo hibridinę paiešką, kuri apjungia abu būdus.

Techniniai pagrindai

Šias sistemas veikiančios neuroninės architektūros labai skiriasi. Vaizdais pagrįsta paieška remiasi regėjimo modeliais, apmokytais naudojant didžiulius vaizdų duomenų rinkinius, tokius kaip LAION-5B, kurie mokosi atpažinti modelius milijonuose vaizdinių pavyzdžių. Tekstu pagrįsta paieška remiasi dešimtmečius trukusiais informacijos paieškos tyrimais, apimančiais tiek klasikinius algoritmus, tokius kaip BM25, tiek šiuolaikinius transformatoriais pagrįstus metodus. Naujausi multimodalinių modelių pasiekimai pradėjo naikinti šias ribas, suteikdami galimybę sistemoms suprasti ir vaizdus, ir tekstą vieningose sistemose.

Vartotojo patirties skirtumai

Vaizdais pagrįsta paieška pašalina ieškomos informacijos aprašymo žodžiais trintį, o tai neįkainojama, kai vaizdines ypatybes sunku suformuluoti. Tekstu pagrįsta paieška suteikia daugiau tikslumo, kai tiksliai žinote, kokios informacijos jums reikia, ir galite ją aiškiai išreikšti. Vartotojai dažnai mano, kad teksto paieška yra labiau nuspėjama, nes jie gali tiksliai matyti, kaip jų užklausa atitinka rezultatus, o vaizdinė paieška kartais pateikia netikėtus, bet tinkamus atitikmenis, pagrįstus vizualiu panašumu.

Apribojimai ir iššūkiai

Vaizdais pagrįsta paieška sunkiai apdoroja abstrakčias sąvokas, kurios neturi aiškių vaizdinių vaizdų, ir reikalauja didelių skaičiavimo išteklių apdorojimui realiuoju laiku. Tekstu pagrįsta paieška susiduria su žodyno neatitikimo iššūkiais, kai vartotojai apibūdina kažką naudodami kitokius terminus nei dokumentuose. Abu metodai toliau tobulėja, o tyrėjai aktyviai dirba siekdami geresnio tarpmodalinio supratimo, kuris ilgainiui gali padaryti skirtumą tarp jų mažiau prasmingą.

Privalumai ir trūkumai

Vaizdo suvokimas

Privalumai

+ Aprašymo nereikia
+ Randa vizualiai panašius elementus
+ Puikiai tinka apsipirkimui
+ Gerai susidoroja su neaiškumais

Pasirinkta

− Didesnės skaičiavimo išlaidos
− Reikia vizualinių duomenų
− Kovos su abstrakcijomis
− Apribota mokymo duomenų

Tekstu pagrįsta paieška

Privalumai

+ Tikslus užklausų valdymas
+ brandžios technologijos
+ Greitas apdorojimas
+ Lengvai veikia neprisijungus prie interneto

Pasirinkta

− Žodyno neatitikimo problemos
− Sunku apibūdinti vaizdus
− Reikalingas aiškus ketinimas
− Praleidžia vizualinį kontekstą

Dažni klaidingi įsitikinimai

Mitas

Vaizdus suvokianti paieška gali nuskaityti tekstą vaizduose taip pat gerai, kaip ir specialios OCR sistemos.

Realybė

Nors šiuolaikinės vaizdus atpažinančios sistemos gali atlikti optinį optinį atpažinimą (OCR), jos paprastai nėra tam optimizuotos. Specialios OCR sistemos, tokios kaip „Tesseract“ arba debesijos paslaugos iš „Google“ ir AWS, paprastai užtikrina didesnį teksto išgavimo užduočių tikslumą, ypač dirbant su sudėtingais maketais arba ranka rašytu turiniu.

Mitas

Dėl dirbtinio intelekto pažangos teksto pagrindu veikianti paieška tampa nebeaktuali.

Realybė

Tekstu pagrįsta paieška išlieka dominuojančia paieškos forma visame pasaulyje. Dirbtinis intelektas ją patobulino geresniu semantiniu supratimu, tačiau pagrindinis teksto užklausų atitikimo tekstiniams dokumentams metodas ir toliau naudojamas daugumoje paieškos sistemų, įmonių sistemų ir tyrimų duomenų bazių.

Mitas

Vaizdais pagrįsta paieška visada pateikia tikslesnius rezultatus nei teksto pagrindu atliekama paieška.

Realybė

Tikslumas visiškai priklauso nuo naudojimo atvejo. Norint rasti konkretų dokumentą arba atsakyti į faktinį klausimą, tekstu pagrįsta paieška paprastai pranoksta vizualinius metodus. Vaizdais pagrįsta paieška ypač pranoksta kitus, kai vizualinis panašumas yra pagrindinis aktualumo kriterijus.

Mitas

Norint įdiegti bet kurį iš šių paieškos metodų, reikia didžiulių duomenų rinkinių.

Realybė

Iš anksto apmokyti modeliai ir API abu metodus padarė prieinamus be apmokymo nuo nulio. Tokios paslaugos kaip „Google Cloud Vision“, „AWS Rekognition“ ir „OpenAI“ CLIP teikia paruoštas naudoti funkcijas, kurias mažos komandos gali integruoti neturėdamos išsamių mašininio mokymosi žinių.

Mitas

Vizualinė paieška visiškai pakeičia tekstinių aprašymų poreikį el. prekyboje.

Realybė

Sėkmingiausiose el. prekybos platformose naudojami hibridiniai metodai. Tekstiniai aprašymai išlieka labai svarbūs SEO, prieinamumui ir vartotojams, kurie renkasi rašyti užklausas. Vizualinė paieška yra papildoma, o ne pakeičianti funkcija, ypač naudinga mobiliųjų įrenginių vartotojams ir tiems, kurie negali lengvai apibūdinti to, ko nori.

Dažnai užduodami klausimai

Kuo pagrindinis skirtumas tarp vaizdų suvokiančios ir teksto pagrindu veikiančios paieškos?

Pagrindinis skirtumas yra įvesties modalumas ir apdorojimo metodas. Vaizdais pagrįsta paieška analizuoja vaizdinį turinį naudodama kompiuterinio matymo modelius, kad rastų atitikmenis pagal vizualines ypatybes ir panašumą. Tekstu pagrįsta paieška apdoroja rašytines užklausas ir palygina jas su indeksuotais tekstiniais dokumentais, naudodama lingvistinę analizę ir reitingavimo algoritmus. Kiekvienas metodas yra optimizuotas skirtingų tipų paieškos užduotims.

Kuris paieškos metodas yra tikslesnis bendrajai paieškai?

Tikslumas labai priklauso nuo to, ko ieškote. Tekstu pagrįsta paieška paprastai laimi atliekant faktines užklausas, dokumentų paiešką ir informacijos paieškos užduotis. Vaizdais pagrįsta paieška geriau veikia atliekant vizualinio panašumo paieškas, produktų atradimą ir identifikavimo užduotis. Bendrosios žiniatinklio paieškos atveju tekstu pagrįsti metodai išlieka dominuojantys, nes didžioji dalis žiniatinklio turinio yra teksto pagrindu.

Ar vaizdų suvokimas gali veikti be tekstinių aprašymų?

Taip, grynas vaizdų atpažinimas gali veikti naudojant tik vizualines funkcijas be jokio teksto įvedimo. Tokios sistemos kaip atvirkštinė vaizdų paieška ir vizualinių produktų rekomendavimo sistemos veikia tokiu būdu. Tačiau daugelyje šiuolaikinių diegimų vizualinė analizė derinama su teksto supratimu, siekiant geresnių rezultatų, ypač dirbant su vaizdais, kuriuose yra teksto arba kuriems reikia kontekstinio supratimo.

Kaip CLIP susijęs su vaizdų suvokimu?

„OpenAI“ sukurtas CLIP (kontrastingos kalbos ir vaizdų išankstinis mokymas) pakeitė vaizdą suvokiančios paieškos revoliuciją, išmokdamas bendrus vaizdų ir teksto įterpimus. Tai leidžia vienam modeliui suprasti ryšius tarp vaizdinio ir tekstinio turinio, įgalinant galingas tarpmodalinės paieškos galimybes. Galite ieškoti naudodami vaizdus, tekstą arba abiejų derinius ir rasti semantiškai susijusius rezultatus skirtingose modalybėse.

Ar teksto pagrindu veikianti paieška yra greitesnė nei vaizdų pagrindu veikianti paieška?

Apskritai taip, teksto pagrindu veikianti paieška yra greitesnė, nes teksto apdorojimui reikia mažiau skaičiavimo galios nei vaizdų analizei. Teksto indeksavimą ir užklausų atitikimą galima optimizuoti naudojant efektyvias duomenų struktūras, pvz., apverstus indeksus. Vaizdais pagrįstai paieškai reikalingas neuroninio tinklo išvados, skirtos funkcijų išskyrimui, o tai reikalauja daugiau skaičiavimo išteklių, nors aparatinės įrangos spartinimas žymiai sumažino šį skirtumą.

Kokios pramonės šakos labiausiai gauna naudos iš vaizdų suvokimo?

E. prekybos, mados, nekilnojamojo turto ir kelionių sektoriai gauna didelę naudą iš vaizdų pagrindu veikiančios paieškos. Vizualinė produktų paieška padeda pirkėjams rasti panašius daiktus, o nekilnojamojo turto platformos ją naudoja ieškodamos namų su panašiais architektūriniais elementais. „Pinterest“, „Google Images“ ir ASOS sukūrė visą naudotojo patirtį, pagrįstą vizualinės paieškos galimybėmis.

Kaip hibridinės paieškos sistemos sujungia abu metodus?

Hibridinės sistemos vienu metu apdoroja ir vaizdo, ir teksto įvestis, suliedamos jų įterpimus arba vykdydamos lygiagrečias paieškas ir sujungdamos rezultatus. Pavyzdžiui, galite įkelti vaizdą ir pridėti tekstą, pvz., „panašus, bet mėlyna spalva“, kad patikslintumėte rezultatus. Šios sistemos paprastai naudoja multimodalinius modelius, kurie supranta abu modalumus vieninguose vaizdavimuose, siūlydami geriausias abiejų pasaulių savybes.

Kokios yra vaizdų suvokimo paieškų pasekmės privatumui?

Vaizdais pagrįsta paieška kelia daugiau privatumo problemų nei teksto pagrindu veikiantys metodai, nes vaizduose dažnai yra atpažįstamos informacijos, pvz., veidų, vietų ir asmeninių daiktų. Vartotojai, įkėlę nuotraukas į vaizdinės paieškos sistemas, gali netyčia pasidalyti jautriais duomenimis. Geros reputacijos paslaugos įgyvendina privatumo apsaugos priemones, tačiau vartotojai turėtų suprasti, kad įkelti vaizdai gali būti saugomi ir analizuojami siekiant tobulinti paslaugas.

Ar teksto pagrindu veikianti paieška gali suprasti sinonimus ir susijusias sąvokas?

Šiuolaikinės tekstinės paieškos sistemos labai gerai tvarko sinonimus ir semantinius ryšius dėl transformatorių modelių, tokių kaip BERT, ir įterpimo pagrindu veikiančių metodų. Šios sistemos supranta, kad „automobilis“ ir „automobilis“ reiškia panašias sąvokas, ir gali susieti užklausas su dokumentais net tada, kai tikslių raktinių žodžių nėra. Šis semantinis supratimas gerokai pagerino paieškos kokybę, palyginti su senesniais raktinių žodžių atitikimo metodais.

Kuris metodas yra geresnis mobiliosioms programėlėms?

Abu metodai gerai veikia mobiliuosiuose įrenginiuose, tačiau jų tikslai skiriasi. Tekstu pagrįsta paieška taupo bateriją ir patikimai veikia bet kokioje ryšio situacijoje. Vaizdais pagrįsta paieška puikiai veikia mobiliuosiuose įrenginiuose, nes telefonuose yra lengvai prieinamos kameros, todėl vaizdinė paieška yra natūrali ir patogi. Daugelyje sėkmingų mobiliųjų programėlių, tokių kaip „Google Lens“ ir „Snapchat“, sukurtos funkcijos, skirtos specialiai kameromis pagrįstai vaizdinei paieškai.

Kaip šie paieškos metodai tvarko daugiakalbį turinį?

Tekstu pagrįsta paieška turi gerai žinomą daugiakalbį palaikymą per vertimo sluoksnius ir daugiakalbius įterpimo modelius, tokius kaip mBERT ir XLM-R. Vaizdais pagrįsta paieška tvarko daugiakalbį turinį tolygiau, nes vizualinės funkcijos nepriklauso nuo kalbos, nors susiję teksto metaduomenys vis tiek gali reikalauti kalbai būdingo apdorojimo. Tarpmodaliniai modeliai, tokie kaip CLIP, palaiko kelias kalbas teksto ir vaizdo atitikimui.

Kokia ateitis laukia paieškos technologijų?

Ateityje siekiama sukurti vieningas multimodalines paieškos sistemas, kurios sklandžiai apdoros tekstą, vaizdus, garso ir vaizdo įrašus vienoje sistemoje. Dideli multimodaliniai modeliai jau dabar leidžia naudoti natūralesnes paieškos patirtis, kai vartotojai gali derinti skirtingus įvesties tipus. Tikimasi, kad paieška taps labiau pokalbio tipo, labiau orientuota į kontekstą ir gebės suprasti sudėtingas užklausas, apimančias kelis modalumus ir reikalaujančias skirtingų tipų informacijos samprotavimo.

Nuosprendis

Rinkitės vaizdą grindžiančią paiešką, kai svarbiausias yra vizualinis panašumas, pavyzdžiui, perkant produktus, identifikuojant objektus ar ieškant vizualiai panašių dizainų. Tekstu pagrįsta paieška išlieka geresniu pasirinkimu atliekant daug informacijos reikalaujančias užduotis, tokias kaip tyrimai, dokumentų paieška ir situacijos, kai tikslios tekstinės užklausos duoda geriausius rezultatus. Daugeliui šiuolaikinių programų naudinga derinti abu metodus, kad būtų galima gauti išsamias paieškos galimybes.

Susiję palyginimai

„DeepSeek V4“ ir „GPT-4“ klasės modeliai

„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.

„Google“ paieška ir žinių grafiko paieška

„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.

„Google“ paieškos algoritmas ir supaprastinti klasės modeliai

„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.

„Vienas su vienu“ atitikimas aptikimo ir daugelio su vienu atitikimo metodų srityse

„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.

A/B testavimas modelių aptarnavime ir vieno modelio diegime

A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.