Nullpunktipõhine piltide otsing tuvastab visuaalse sisu klassidest, mida treeningu ajal kunagi ei nähtud, kasutades semantilisi kirjeldusi, samas kui juhendatud klassifitseerimissüsteemid nõuavad iga kategooria kohta, mida nad tunnevad, märgistatud näiteid. Mõlemad täidavad arvutinägemise ülesandeid, kuid erinevad põhimõtteliselt selle poolest, kuidas nad teadmisi omandavad ja uusi sisendeid käsitlevad.
Arvutinägemise meetod, mis leiab nähtamatutele kategooriatele vastavaid pilte semantika manustamise, mitte märgistatud treeningnäidete abil.
Traditsioonilised masinõppemudelid, mis kategoriseerivad pilte eelnevalt määratletud klassidesse, kasutades suurt hulka käsitsi märgistatud treeningandmeid.
| Funktsioon | Nullvõttega piltide otsimine | Järelevalve all olevad klassifitseerimissüsteemid |
|---|---|---|
| Treeningandmete nõue | Ainult semantilised kirjeldused, nähtamatute klasside jaoks pole vaja sildistatud pilte | Iga klassi jaoks on vaja suurt hulka sildistatud pilte |
| Romaanikategooriate käsitlemine | Tunneb ära klasse, millega treeningu ajal varem kokku ei puututud | Ei saa käsitleda kategooriaid väljaspool treeningjaotust |
| Teadmiste allikas | Kõrvalteave, näiteks atribuudid, teksti manustamine või teadmiste graafikud | Märgistatud piltide näidetest otse õpitud mustrid |
| Tüüpiline täpsus nähtud klassides | Üldiselt madalam kui järelevalve all olevatel vastaspooltel | Tipptasemel jõudlus standardsete võrdlusaluste alusel |
| Skaleeritavus uutele klassidele | Lisage uusi kategooriaid, pakkudes ainult semantilisi kirjeldusi | Nõuab uute treeningpiltide kogumist ja sildistamist |
| Levinud arhitektuurid | Kahe kodeerijaga võrgud, CLIP-stiilis mudelid, joondusraamistike manustamine | ResNet, EfficientNet, Vision trafod, VGG variandid |
| Hindamisandmestikud | SUN atribuut, aPY, atribuutidega loomad, CUB-200 | ImageNet, CIFAR-10/100, COCO, MNIST |
| Juurutamise keerukus | Kõrgem semantilise metaandmete infrastruktuuri vajaduse tõttu | Madalam küpsete raamistike ja eelkoolitatud kontrollpunktidega |
Kõige olulisem erinevus seisneb selles, kuidas iga süsteem omandab võime visuaalset sisu ära tunda. Juhendatud klassifitseerimine õpib otse märgistatud pildinäidetest, luues statistilisi mustreid, mis kaardistavad piksliandmed eelnevalt määratletud kategooriatesse. Nullpunkti otsing võtab hoopis teistsuguse tee, õppides seostama visuaalseid tunnuseid semantiliste kirjeldustega, et üldistada klassideks, millega pole visuaalselt kunagi kokku puutunud. See muudab nullpunkti lähenemisviisid eriti atraktiivseks valdkondades, kus märgistamine on kulukas või kus kategooriaruum on avatud.
Järelevalve all olevad süsteemid edestavad pidevalt null-shot meetodeid treeningandmetes esinevate klasside puhul, kuna neil on otseseid visuaalseid näiteid, millest õppida. See eelis kaob aga tõeliselt uudsete kategooriate puhul. Null-shot meetodeid kasutades ohverdatakse tuntud klasside puhul teatud tipptäpsus, saades paindlikkuse käsitleda täiesti uusi kontseptsioone. Kaasaegsed alusmudelid, nagu CLIP, on seda lõhet märkimisväärselt vähendanud, saavutades konkurentsivõimelise null-shot jõudluse ulatusliku pildi-teksti eeltreeningu abil.
Juhendatud klassifitseerimine paistab silma täpselt määratletud, suletud maailma stsenaariumides, nagu defektide tuvastamine tootmises, liikide tuvastamine kontrollitud andmekogumites või meditsiiniline pildistamine, kus on olemas märgistatud andmed. Nullpunktipõhine otsing särab avatud sõnavara keskkondades, nagu visuaalsed otsingumootorid, sisupõhine piltide otsing suurtest kataloogidest ja rakendused, kus kasutajad võivad otsida kontseptsioone, mille jaoks süsteemi pole kunagi otseselt treenitud. Paljud reaalsed süsteemid ühendavad nüüd mõlema lähenemisviisi maksimaalse katvuse saavutamiseks.
Uue kategooria lisamine jälgitavale süsteemile tähendab sadade või tuhandete märgistatud piltide kogumist ja mudeli ümberõpetamist, mis on kulukas ja aeganõudev protsess. Nullpunktiotsing võimaldab operaatoritel uusi klasse lisada lihtsalt semantilisi kirjeldusi kirjutades või hankides, vähendades oluliselt tuvastusvõimaluste laiendamisega seotud tegevuskulusid. See erinevus muutub kriitiliseks kiiresti arenevates valdkondades, kus regulaarselt ilmuvad uued tootekategooriad, tekkivad ohud või arenev terminoloogia.
Juhendatud klassifitseerimine kasutab tavaliselt ühe torniga arhitektuure, mis kaardistavad pildid otse klassi tõenäosustega softmax-kihtide kaudu. Nullpunkti otsing kasutab üldiselt kahe kodeerijaga või Siiami stiilis disainilahendusi, mis projitseerivad nii pildid kui ka klassikirjeldused ühisesse manusruumi, kus saab mõõta sarnasust. Hiljutised edusammud nägemiskeele mudelites on neid piire hägustanud, kusjuures ühtsed arhitektuurid on võimelised nii klassifitseerima kui ka otsima loomuliku keele abil.
Nullpunktiõpe tähendab, et mudelil puudub igasugune treening.
Nullpunktimudelid läbivad endiselt märkimisväärset koolitust nähtavate klasside ja semantiliste seoste osas. Silt „nullpunkti“ viitab konkreetselt nende võimele üldistada nähtamatutele kategooriatele järelduse tegemise ajal, mitte õppeprotsessi puudumisele.
Järelevalve all olevad klassifikaatorid ületavad alati nullpunktiga süsteeme.
See kehtib ainult treeningandmestikus esinevate kategooriate kohta. Uute klasside puhul, millega juhendatud mudelid pole kunagi kokku puutunud, langeb nende täpsus nullini, samas kui nullpunkti süsteemid suudavad semantilise ülekande kaudu ikkagi sisukaid ennustusi teha.
Nullpunkti otsing välistab igasuguse andmete ettevalmistamise vajaduse.
Kuigi nähtamatute klasside puhul pole sildistatud pilte vaja, sõltuvad nullpunkti süsteemid suuresti kvaliteetsetest semantilistest kirjeldustest, atribuutide annotatsioonidest või teksti manustamisest. Selle abiteabe kureerimine võib iseenesest olla märkimisväärne pingutus.
Rohkem treeningandmeid parandab juhendatud klassifikaatoreid alati lõputult.
Lisaandmetest saadav jõudluse kasv järgneb vähenevale tootlusele ja lõpuks püsib platool. Sellised tegurid nagu siltide kvaliteet, klasside tasakaal ja andmete mitmekesisus on sageli olulisemad kui toorandmete hulk, eriti süvaõppe mudelite puhul, mis on altid müraste siltide üleliia sobitamisele.
Need kaks lähenemisviisi on praktikas teineteist välistavad.
Paljud tootmissüsteemid kombineerivad mõlemat paradigmat, kasutades suure usaldusväärsusega teadaolevate kategooriate jaoks juhendatud klassifikaatoreid, kuid pikkade sabadega või uudsete päringute puhul naasevad nullpunkti otsingule. Hübriidarhitektuurid on sageli paremad kui kumbki lähenemisviis eraldi kasutamisel.
Valige juhendatud klassifitseerimine, kui teil on rohkelt sildistatud andmeid, fikseeritud kategooriate komplekt ja vajate teadaolevate klasside puhul maksimaalset täpsust. Valige null-shot-kujutiste otsing, kui teie kategooriaruum on avatud, sildistatud andmeid on vähe või vajate paindlikkust uute kontseptsioonide äratundmiseks ilma ümberõppeta. Paljud tootmissüsteemid saavad kasu mõlema lähenemisviisi kombineerimisest, et tasakaalustada täpsust ja kohanemisvõimet.
Mudeliteenuse A/B-testimine suunab liiklust konkureerivate mudeliversioonide vahel, et mõõta reaalset toimivust, samas kui ühe mudeli juurutamine saadab kõigile kasutajatele ühe mudeli. Meeskonnad valivad nende vahel riskitaluvuse, liiklusmahu ja statistilise valideerimise vajaduse alusel enne täielikku juurutamist.
Sisuväljaannete A/B-testimine hõlmab variatsioonide levitamist erinevatele sihtrühmadele ja tulemuslikkuse mõõtmist, samas kui ühekordsed sisuväljaanded suunavad ühe versiooni korraga kõigile. Igal lähenemisviisil on erinevad eesmärgid, kusjuures A/B-testimine eelistab andmepõhist optimeerimist ja ühekordsed väljaanded seavad esikohale kiiruse ja lihtsuse.
See detailne võrdlus uurib adaptiivsete intelligentsete mootorite arhitektuurilisi erinevusi, operatsioonilisi piiranguid ja reaalset jõudlust võrreldes fikseeritud käitumisega automatiseerimissüsteemidega. Vaatleme, kuidas süsteemid, mis pidevalt õpivad uutest keskkonnaandmetest, sobivad kokku jäikade ja ennustatavate reeglipõhiste raamistikega.
Adaptiivne otsing kohandab dünaamiliselt, kuidas ja millist teavet süsteem päringu põhjal hangib, samas kui staatilised otsingukanalid järgivad fikseeritud reegleid olenemata kontekstist. Mõlemad toetavad tänapäevaseid tehisintellekti rakendusi, kuid erinevad oluliselt paindlikkuse, maksumuse ja täpsuse poolest. Nende vahel valimine sõltub töökoormuse keerukusest ja eelarvest.
Agentide koolitamine keskkondades hõlmab õppimist reaalajas simuleeritud või füüsilise keskkonnaga suhtlemise kaudu, samas kui võrguühenduseta andmestiku koolitamine tugineb eelnevalt kogutud andmetele ilma täiendava keskkonnale juurdepääsuta. Mõlemad lähenemisviisid treenivad masinõppe mudeleid, kuid erinevad põhimõtteliselt selle poolest, kuidas agendid kogemusi koguvad ja jõudlust parandavad.
