Rikthimi i imazheve me metodën zero-shot identifikon përmbajtjen vizuale nga klasat që nuk janë parë kurrë gjatë trajnimit duke shfrytëzuar përshkrimet semantike, ndërsa sistemet e klasifikimit të mbikëqyrur kërkojnë shembuj të etiketuar për çdo kategori që njohin. Të dyja i shërbejnë detyrave të vizionit kompjuterik, por ndryshojnë thelbësisht në mënyrën se si fitojnë njohuri dhe trajtojnë të dhëna të reja.
Një qasje e vizionit kompjuterik që gjen imazhe që përputhen me kategoritë e papara duke përdorur ngulitje semantike në vend të shembujve të trajnimit të etiketuar.
Modelet tradicionale të të mësuarit automatik që kategorizojnë imazhet në klasa të paracaktuara duke përdorur sasi të mëdha të të dhënave të trajnimit të etiketuara manualisht.
| Veçori | Rikthim Imazhesh Zero-Shot | Sistemet e Mbikëqyrura të Klasifikimit |
|---|---|---|
| Kërkesa për të dhëna trajnimi | Vetëm përshkrime semantike, nuk nevojiten imazhe të etiketuara për klasat e papara | Kërkohen sasi të mëdha imazhesh të etiketuara për çdo klasë |
| Trajtimi i kategorive të romaneve | Mund të njohë klasat që nuk janë hasur kurrë gjatë trajnimit | Nuk mund të trajtojë kategori jashtë shpërndarjes së trajnimit |
| Burimi i Dijes | Informacione anësore si atributet, ngulitja e tekstit ose grafikët e njohurive | Modele të mësuara direkt nga shembujt e imazheve të etiketuara |
| Saktësia tipike në klasat e shikuara | Përgjithësisht më të ulëta se homologët e mbikëqyrur | Performancë e nivelit të lartë në standardet standarde |
| Shkallëzueshmëria në klasa të reja | Shtoni kategori të reja vetëm duke ofruar përshkrime semantike | Kërkon mbledhjen dhe etiketimin e imazheve të reja të trajnimit |
| Arkitekturat e Përbashkëta | Rrjete me dy enkoderë, modele në stilin CLIP, integrimi i kornizave të shtrirjes | ResNet, EfficientNet, Transformatorët e Vizionit, variantet VGG |
| Sete të dhënash vlerësimi | Atributi i DIELLIT, aPY, Kafshë me Atribute, CUB-200 | ImageNet, CIFAR-10/100, COCO, MNIST |
| Kompleksiteti i Vendosjes | Më e lartë për shkak të nevojës për infrastrukturën e meta-datave semantike | Më i ulët me korniza të pjekura dhe pika kontrolli të para-trajnuara |
Dallimi më themelor qëndron në mënyrën se si secili sistem fiton aftësinë për të njohur përmbajtjen vizuale. Klasifikimi i mbikëqyrur mëson drejtpërdrejt nga shembujt e imazheve të etiketuara, duke ndërtuar modele statistikore që i lidhin të dhënat e pikselëve me kategori të paracaktuara. Rikthimi me zero goditje ndjek një rrugë krejtësisht të ndryshme, duke mësuar të shoqërojë tiparet vizuale me përshkrimet semantike në mënyrë që të mund të përgjithësohet në klasa që nuk i ka hasur kurrë vizualisht. Kjo i bën qasjet me zero goditje veçanërisht tërheqëse në fushat ku etiketimi është i kushtueshëm ose ku hapësira e kategorive është e hapur.
Sistemet e mbikëqyrura vazhdimisht i tejkalojnë metodat me goditje zero në klasat e pranishme në të dhënat e trajnimit, sepse ato kanë shembuj vizualë të drejtpërdrejtë nga të cilët mund të mësojnë. Megjithatë, ky avantazh zhduket kur përballemi me kategori vërtet të reja. Rikthimi me goditje zero sakrifikon njëfarë saktësie maksimale në klasat e njohura në këmbim të fleksibilitetit për të trajtuar koncepte krejtësisht të reja. Modelet moderne të themelimit si CLIP e kanë ngushtuar ndjeshëm këtë boshllëk, duke arritur performancë konkurruese me goditje zero përmes trajnimit paraprak imazh-tekst në shkallë të gjerë.
Klasifikimi i mbikëqyrur shkëlqen në skenarë të mirëpërcaktuar, të botës së mbyllur, siç janë zbulimi i defekteve në prodhim, identifikimi i specieve në grupe të dhënash të kontrolluara ose imazheria mjekësore ku ekzistojnë të dhëna të etiketuara. Rikthimi me zero-shot shkëlqen në mjedise me fjalor të hapur, si motorët e kërkimit vizual, rikthimi i imazheve të bazuara në përmbajtje nga katalogë të mëdhenj dhe aplikacionet ku përdoruesit mund të kërkojnë koncepte mbi të cilat sistemi nuk është trajnuar kurrë në mënyrë të qartë. Shumë sisteme të botës reale tani i kombinojnë të dyja qasjet për mbulim maksimal.
Shtimi i një kategorie të re në një sistem të mbikëqyrur do të thotë mbledhjen e qindra ose mijëra imazheve të etiketuara dhe rikualifikimin e modelit, një proces i kushtueshëm dhe që kërkon kohë. Rikthimi zero-shot u lejon operatorëve të prezantojnë klasa të reja thjesht duke shkruar ose duke siguruar përshkrime semantike, duke zvogëluar ndjeshëm kostot operative të zgjerimit të aftësive të njohjes. Ky ndryshim bëhet kritik në fushat që lëvizin me shpejtësi, ku kategoritë e reja të produkteve, kërcënimet në zhvillim ose terminologjia në zhvillim shfaqen rregullisht.
Klasifikimi i mbikëqyrur zakonisht përdor arkitektura me një kullë të vetme që i lidhin imazhet drejtpërdrejt me probabilitetet e klasës përmes shtresave softmax. Rikthimi me zero-shot përgjithësisht përdor dizajne me kodues të dyfishtë ose dizajne në stilin siamez që projektojnë si imazhet ashtu edhe përshkrimet e klasave në një hapësirë të përbashkët ngulitjeje ku mund të matet ngjashmëria. Përparimet e fundit në modelet e gjuhës së vizionit i kanë mjegulluar këto vija, me arkitektura të unifikuara të afta për klasifikim dhe rikthim përmes kërkesave të gjuhës natyrore.
Mësimi me zero goditje do të thotë që modeli nuk ka fare trajnim.
Modelet me goditje zero ende i nënshtrohen një trajnimi të konsiderueshëm mbi klasat e dukshme dhe shoqatat semantike. Etiketa 'me goditje zero' i referohet konkretisht aftësisë së tyre për të përgjithësuar në kategoritë e padukshme në kohën e nxjerrjes së përfundimeve, jo mungesës së ndonjë procesi të të nxënit.
Klasifikuesit e mbikëqyrur gjithmonë kanë performancë më të mirë se sistemet me goditje zero.
Kjo vlen vetëm për kategoritë e pranishme në grupin e trajnimit. Në klasat e reja që modelet e mbikëqyrura nuk i kanë hasur kurrë, saktësia e tyre bie në zero, ndërsa sistemet me goditje zero mund të prodhojnë ende parashikime kuptimplote përmes transferimit semantik.
Marrja e të dhënave me rezultat zero eliminon nevojën për çdo përgatitje të të dhënave.
Ndërkohë që imazhet e etiketuara nuk kërkohen për klasat e padukshme, sistemet me zero-shot varen shumë nga përshkrimet semantike me cilësi të lartë, shënimet e atributeve ose ngulitja e tekstit. Kurimi i këtij informacioni ndihmës në vetvete mund të jetë një përpjekje e rëndësishme.
Më shumë të dhëna trajnimi gjithmonë i përmirësojnë klasifikuesit e mbikëqyrur për një kohë të pacaktuar.
Përfitimet në performancë nga të dhënat shtesë pasojnë rënien e kthimeve dhe përfundimisht arrijnë në një nivel të qëndrueshëm. Faktorë si cilësia e etiketës, ekuilibri i klasave dhe diversiteti i të dhënave shpesh kanë më shumë rëndësi sesa sasia e papërpunuar, veçanërisht për modelet e të mësuarit të thellë të prirura për t'u mbivendosur në etiketa me zhurmë.
Këto dy qasje janë reciprokisht përjashtuese në praktikë.
Shumë sisteme prodhimi i kombinojnë të dy paradigmat, duke përdorur klasifikues të mbikëqyrur për kategori të njohura me besim të lartë, ndërsa kthehen në rikuperim me pikë zero për pyetje me bisht të gjatë ose të reja. Arkitekturat hibride shpesh i tejkalojnë të dyja qasjet e përdorura veçmas.
Zgjidhni klasifikimin e mbikëqyrur kur keni të dhëna të bollshme të etiketuara, një grup të caktuar kategorish dhe keni nevojë për saktësi maksimale në klasat e njohura. Zgjidhni rikthimin e imazheve me zero-shot kur hapësira juaj e kategorive është e hapur, të dhënat e etiketuara janë të pakta ose keni nevojë për fleksibilitet për të njohur koncepte të reja pa rikualifikim. Shumë sisteme prodhimi përfitojnë nga kombinimi i të dy qasjeve për të balancuar saktësinë me përshtatshmërinë.
Agregimi i preferencave kombinon preferenca të shumta individuale në vendime kolektive, ndërsa modelimi i parashikimit individual parashikon sjelljen personale duke përdorur të mësuarit automatik në të dhënat e një përdoruesi të vetëm. Të dyja shërbejnë për qëllime të dallueshme në sistemet e inteligjencës artificiale, nga motorët e rekomandimeve deri te platformat demokratike të votimit.
Ky krahasim arkitektonik vë në kontrast inxhinierinë deterministe të Agjentëve të Bazuar në Rregulla me natyrën adaptive të të dhënave të Agjentëve të Bazuar në Mësim, duke vlerësuar zbatueshmërinë e tyre në botën reale, kufijtë e shkallëzimit dhe performancën në kushte pasigurie.
Ky udhëzues i detajuar shqyrton ndryshimet strukturore dhe operacionale midis agjentëve autonomë dhe sistemeve të automatizimit të skriptuar. Ndërsa mjetet e skriptuara ofrojnë parashikueshmëri të pakrahasueshme për rrjedha pune të ngurta dhe përsëritëse, agjentët inteligjentë modernë shfrytëzojnë arsyetimin kognitiv për të lundruar në mënyrë të pavarur në të dhëna të ndryshueshme, pengesa teknike të papritura dhe peizazhe të dhënash shumë komplekse dhe të pastrukturuara.
Agjentët autonomë të IA-së veprojnë në mënyrë të pavarur duke planifikuar, arsyetuar dhe ekzekutuar detyra shumë-hapëshe me ndërhyrje minimale njerëzore, ndërsa sistemet e IA-së të bazuara në shpejtësi u përgjigjen udhëzimeve individuale të përdoruesit, një ndërveprim në të njëjtën kohë. Dallimi kryesor qëndron në agjenci: agjentët ndjekin qëllimet nëpër seanca, ndërsa sistemet e shpejtësisë presin për drejtim.
Agjentët bisedorë përqendrohen në dialogun natyror dhe ndërveprimet e bazuara në tekst, ndërsa agjentët që përdorin mjete zgjerojnë aftësitë e IA-së duke thirrur funksione dhe API të jashtme. Të dy përfaqësojnë qasje të dallueshme ndaj sistemeve autonome të IA-së, me modelet bisedore që shkëlqejnë në komunikim dhe agjentët që përdorin mjete të specializuar në ekzekutimin e detyrave në botën reale.
