Tinutukoy ng zero-shot image retrieval ang visual content mula sa mga klase na hindi pa nakikita sa panahon ng pagsasanay sa pamamagitan ng paggamit ng mga semantic description, habang ang mga supervised classification system ay nangangailangan ng mga may label na halimbawa para sa bawat kategoryang kinikilala ng mga ito. Pareho silang nagsisilbi sa mga gawain ng computer vision ngunit may malaking pagkakaiba sa kung paano sila kumukuha ng kaalaman at humahawak ng mga bagong input.
Isang pamamaraan ng computer vision na humahanap ng mga larawang tumutugma sa mga hindi nakikitang kategorya gamit ang mga semantic embedding sa halip na mga may label na halimbawa ng pagsasanay.
Mga tradisyonal na modelo ng machine learning na nag-uuri ng mga imahe sa mga paunang natukoy na klase gamit ang malalaking dami ng manu-manong may label na data ng pagsasanay.
| Tampok | Pagkuha ng Imahe na Zero-Shot | Mga Sistema ng Pangangasiwaang Klasipikasyon |
|---|---|---|
| Kinakailangan sa Datos ng Pagsasanay | Mga semantikong paglalarawan lamang, hindi kailangan ng mga larawang may label para sa mga hindi pa nakikitang klase | Kinakailangan ang malalaking volume ng mga naka-label na larawan para sa bawat klase |
| Paghawak ng mga Novel na Kategorya | Nakakakilala ng mga klaseng hindi pa nararanasan sa panahon ng pagsasanay | Hindi maaaring pangasiwaan ang mga kategorya sa labas ng distribusyon ng pagsasanay |
| Pinagmumulan ng Kaalaman | Mga karagdagang impormasyon tulad ng mga katangian, pag-embed ng teksto, o mga graph ng kaalaman | Mga pattern na natutunan nang direkta mula sa mga halimbawa ng larawang may label |
| Karaniwang Katumpakan sa Mga Nakikitang Klase | Karaniwang mas mababa kaysa sa mga pinangangasiwaang katapat | Makabagong pagganap batay sa mga karaniwang benchmark |
| Kakayahang I-scalable sa mga Bagong Klase | Magdagdag ng mga bagong kategorya sa pamamagitan lamang ng pagbibigay ng mga semantikong paglalarawan | Nangangailangan ng pagkolekta at paglalagay ng label sa mga bagong larawan ng pagsasanay |
| Mga Karaniwang Arkitektura | Mga network na dual-encoder, mga modelong istilong CLIP, mga balangkas ng pag-align ng pag-embed | ResNet, EfficientNet, Vision Transformers, mga variant ng VGG |
| Mga Dataset ng Ebalwasyon | Katangian ng SUN, aPY, Mga Hayop na may Katangian, CUB-200 | ImageNet, CIFAR-10/100, COCO, MNIST |
| Pagiging Komplikado ng Pag-deploy | Mas mataas dahil sa pangangailangan para sa imprastraktura ng semantic metadata | Mas mababa na may mga mature na balangkas at mga pretrained checkpoint |
Ang pinakapangunahing pagkakaiba ay nakasalalay sa kung paano nagkakaroon ng kakayahang kilalanin ng bawat sistema ang visual na nilalaman. Ang pinangangasiwaang klasipikasyon ay direktang natututo mula sa mga halimbawa ng may label na imahe, na bumubuo ng mga istatistikal na pattern na nagmamapa sa data ng pixel sa mga paunang natukoy na kategorya. Ang pagkuha ng zero-shot ay dumadaan sa isang ganap na kakaibang ruta, natututong iugnay ang mga visual na tampok sa mga semantikong paglalarawan upang maaari itong gawing pangkalahatan sa mga klase na hindi pa nito nakikita nang biswal. Ginagawa nitong lalong kaakit-akit ang mga diskarte sa zero-shot sa mga domain kung saan mahal ang pag-label o kung saan ang espasyo ng kategorya ay bukas.
Ang mga pinangangasiwaang sistema ay palaging nakahigit sa mga pamamaraan ng zero-shot sa mga klaseng nasa datos ng pagsasanay dahil mayroon silang direktang mga biswal na halimbawa na matututunan. Gayunpaman, nawawala ang kalamangang ito kapag nahaharap sa mga tunay na nobelang kategorya. Isinasakripisyo ng pagkuha ng zero-shot ang ilang pinakamataas na katumpakan sa mga kilalang klase kapalit ng kakayahang umangkop upang pangasiwaan ang mga ganap na bagong konsepto. Ang mga modernong modelo ng pundasyon tulad ng CLIP ay lubos na nakapagpaliit sa agwat na ito, na nakakamit ng mapagkumpitensyang pagganap ng zero-shot sa pamamagitan ng malakihang pretraining ng imahe-teksto.
Ang pinangangasiwaang klasipikasyon ay mahusay sa mga mahusay na natukoy at saradong mga senaryo tulad ng pagtuklas ng depekto sa pagmamanupaktura, pagkilala ng mga species sa mga kontroladong dataset, o medikal na imaging kung saan umiiral ang may label na data. Ang pagkuha ng zero-shot ay namumukod-tangi sa mga bukas na setting ng bokabularyo tulad ng mga visual search engine, pagkuha ng imahe batay sa nilalaman mula sa malalaking katalogo, at mga application kung saan maaaring maghanap ang mga user ng mga konsepto na hindi kailanman tahasang sinanay ang sistema. Maraming mga sistema sa totoong mundo ngayon ang pinagsasama ang parehong pamamaraan para sa maximum na saklaw.
Ang pagdaragdag ng bagong kategorya sa isang pinangangasiwaang sistema ay nangangahulugan ng pagkolekta ng daan-daan o libu-libong may label na mga imahe at muling pagsasanay sa modelo, isang magastos at matagal na proseso. Ang zero-shot retrieval ay nagbibigay-daan sa mga operator na magpakilala ng mga bagong klase sa pamamagitan lamang ng pagsulat o pagkuha ng mga semantic description, na lubhang binabawasan ang operational overhead ng lumalawak na kakayahan sa pagkilala. Ang pagkakaibang ito ay nagiging kritikal sa mga mabilis na umuusbong na domain kung saan ang mga bagong kategorya ng produkto, mga umuusbong na banta, o umuusbong na terminolohiya ay regular na lumilitaw.
Karaniwang gumagamit ang pinangangasiwaang klasipikasyon ng mga arkitekturang single-tower na direktang nagmamapa ng mga imahe sa mga probabilidad ng klase sa pamamagitan ng mga layer ng softmax. Ang zero-shot retrieval sa pangkalahatan ay gumagamit ng dual-encoder o mga disenyong istilong Siamese na nagpo-project ng parehong mga imahe at mga paglalarawan ng klase sa isang ibinahaging espasyo sa pag-embed kung saan masusukat ang pagkakatulad. Ang mga kamakailang pagsulong sa mga modelo ng vision-language ay nagpalabo sa mga linyang ito, na may mga pinag-isang arkitektura na may kakayahang mag-klasipikar at mag-retrieval sa pamamagitan ng mga natural na prompt ng wika.
Ang zero-shot learning ay nangangahulugan na ang modelo ay walang anumang pagsasanay.
Ang mga modelong zero-shot ay sumasailalim pa rin sa masusing pagsasanay sa mga nakikitang klase at mga semantikong asosasyon. Ang label na 'zero-shot' ay partikular na tumutukoy sa kanilang kakayahang mag-generalize sa mga hindi nakikitang kategorya sa oras ng paghihinuha, hindi sa kawalan ng anumang proseso ng pagkatuto.
Ang mga pinangangasiwaang classifier ay palaging nahihigitan ang mga zero-shot system.
Totoo lamang ito para sa mga kategoryang nasa hanay ng pagsasanay. Sa mga nobelang klase na hindi pa natutugunan ng mga pinangangasiwaang modelo, ang kanilang katumpakan ay bumababa sa zero, habang ang mga zero-shot system ay maaari pa ring makagawa ng makabuluhang mga hula sa pamamagitan ng semantic transfer.
Inaalis ng zero-shot retrieval ang pangangailangan para sa anumang paghahanda ng datos.
Bagama't hindi kinakailangan ang mga may label na imahe para sa mga hindi nakikitang klase, ang mga zero-shot system ay lubos na umaasa sa mga de-kalidad na semantikong paglalarawan, mga anotasyon ng katangian, o mga pag-embed ng teksto. Ang pagpili ng pantulong na impormasyong ito ay maaaring maging isang malaking pagsisikap.
Ang mas maraming datos ng pagsasanay ay palaging nagpapabuti sa mga pinangangasiwaang klasipikasyon nang walang katapusan.
Ang mga natamong resulta mula sa karagdagang datos ay kasunod ng pagbaba ng kita at kalaunan ay ang pag-plateau. Ang mga salik tulad ng kalidad ng label, balanse ng klase, at pagkakaiba-iba ng datos ay kadalasang mas mahalaga kaysa sa dami ng hilaw, lalo na para sa mga modelo ng deep learning na madaling kapitan ng labis na pag-angkop sa mga maingay na label.
Ang dalawang pamamaraang ito ay magkasalungat sa pagsasagawa.
Pinagsasama ng maraming sistema ng produksyon ang parehong paradigma, gamit ang mga supervised classifier para sa mga kilalang kategorya na may mataas na kumpiyansa habang bumabalik sa zero-shot retrieval para sa mga long-tail o nobelang query. Kadalasang nahihigitan ng mga hybrid architecture ang alinmang pamamaraang ginagamit nang mag-isa.
Pumili ng pinangangasiwaang klasipikasyon kapag mayroon kang maraming naka-label na datos, isang takdang hanay ng mga kategorya, at nangangailangan ng pinakamataas na katumpakan sa mga kilalang klase. Pumili ng zero-shot image retrieval kapag ang iyong espasyo sa kategorya ay bukas, kakaunti ang naka-label na datos, o kailangan mo ng kakayahang umangkop upang makilala ang mga bagong konsepto nang walang muling pagsasanay. Maraming sistema ng produksyon ang nakikinabang sa pagsasama ng parehong pamamaraan upang balansehin ang katumpakan at kakayahang umangkop.
Ang A/B testing sa mga paglabas ng nilalaman ay kinabibilangan ng paglulunsad ng mga pagkakaiba-iba sa iba't ibang segment ng madla at pagsukat ng pagganap, habang ang mga minsanang paglabas ng nilalaman ay naghahatid ng isang bersyon sa lahat nang sabay-sabay. Ang bawat pamamaraan ay umaangkop sa iba't ibang layunin, kung saan ang A/B testing ay pinapaboran ang data-driven na pag-optimize at ang mga minsanang paglabas ay inuuna ang bilis at pagiging simple.
Ang A/B testing sa model serving ay nagruruta ng trapiko sa pagitan ng mga magkakumpitensyang bersyon ng modelo upang masukat ang performance sa totoong buhay, habang ang single-model deployment ay nagpapadala ng isang modelo sa lahat ng user. Ang mga team ay pumipili sa pagitan ng mga ito batay sa risk tolerance, dami ng trapiko, at ang pangangailangan para sa statistical validation bago ang ganap na paglulunsad.
Ang adaptasyon ng wika sa AI ay nakatuon sa pagtuturo ng mga modelo upang pangasiwaan ang mga partikular na wika sa pamamagitan ng pagpino at paglilipat ng pagkatuto, habang ang mga sistemang AI na walang language-agnostic ay naglalayong iproseso ang anumang wika nang walang pagsasanay na partikular sa wika. Ang parehong pamamaraan ay tumutugon sa mga hamong multilingual ngunit may malaking pagkakaiba sa arkitektura, datos ng pagsasanay, at pag-deploy sa totoong mundo.
Sinusuri ng detalyadong paghahambing na ito ang mga pagkakaiba sa arkitektura, mga limitasyon sa operasyon, at totoong pagganap ng mga adaptive intelligence engine laban sa mga fixed behavior automation system. Sinusuri namin kung paano tumutugma ang mga sistemang patuloy na natututo mula sa mga bagong datos sa kapaligiran laban sa mga matibay at mahuhulaang balangkas na nakabatay sa mga tuntunin.
Ang paghahambing na ito ay nagpapaliwanag sa mga pangunahing pagkakaiba ng artipisyal na intelihensiya at awtomasyon, na nakatuon sa kung paano sila gumagana, anong mga problema ang kanilang nilulutas, ang kanilang kakayahang umangkop, kasalimuotan, gastos, at mga praktikal na kaso ng paggamit sa negosyo.
