objektu noteikšanadatorredzedziļā mācīšanāstransformatorimākslīgais intelekts
Uz kopu balstīta objektu noteikšana salīdzinājumā ar uz enkuru balstītu objektu noteikšanu
Kopu objektu noteikšana traktē noteikšanu kā kopas prognozēšanas problēmu, tieši izvadot ierobežojošos lodziņus bez iepriekš definētiem enkuriem. Enkuru noteikšana balstās uz iepriekš definētiem lodziņiem dažādos mērogos un malu attiecībās, pēc tam tos precizē. Abas pieejas nodrošina modernas datorredzes sistēmas, taču tās būtiski atšķiras ar to, kā tās lokalizē objektus.
Iezīmes
Kopu noteikšana pilnībā izslēdz enkura lodziņus, uztverot noteikšanu kā tiešas kopas prognozēšanas problēmu.
Uz enkuriem balstīta noteikšana balstās uz tūkstošiem iepriekš definētu lodziņu, kas precizēti, izmantojot klasifikāciju un regresiju.
Uz kopām balstītas metodes novērš nepieciešamību pēc maksimālas nomākšanas, izmantojot divpusēju saskaņošanu.
Mūsdienu uz komplektiem balstīti detektori, piemēram, DINO, tagad pārspēj uz enkuriem balstītus modeļus COCO etalona precizitātes ziņā.
Kas ir Uz kopām balstīta objektu noteikšana?
Mūsdienīga noteikšanas paradigma, kas paredz objektus kā nesakārtotus kopumus, novēršot nepieciešamību pēc ar rokām izgatavotām enkura kastēm.
Pirmizveidojis DETR (DEtection TRansformer), ieviesis Facebook AI Research 2020. gadā.
Izmanto transformatora kodētāja-dekodētāja arhitektūru ar divpusēju saskaņošanu unikālām prognozēm.
Objektu noteikšanu traktē kā tiešas kopas prognozēšanas problēmu, novēršot nepieciešamību pēc nemaksimālas slāpēšanas.
Sasniedz konkurētspējīgu precizitāti COCO etalonā bez tādiem komponentiem kā enkura ģenerēšana vai piedāvājumu ģenerēšana.
Ir iedvesmojis daudzus pēctečus, tostarp Deformable DETR, DINO un Co-DETR, kas uzlabo treniņu stabilitāti un ātrumu.
Kas ir Uz enkuriem balstīta objektu noteikšana?
Tradicionāla noteikšanas pieeja, kas izmanto iepriekš definētus dažāda izmēra un proporciju enkura lodziņus, lai lokalizētu objektus attēlos.
Ieviests kopā ar Faster R-CNN 2015. gadā, balstoties uz iepriekšējo darbu ar Faster R-CNN un SSD.
Ģenerē tūkstošiem kandidātu enkura lodziņu katrā telpiskajā atrašanās vietā vairākos iezīmju kartes līmeņos.
Nepieciešamas pēcapstrādes darbības, piemēram, nemaksimāla slāpēšana, lai noņemtu dublikātus.
Veido plaši izmantotu detektoru, piemēram, RetinaNet, YOLOv3, YOLOv4 un Faster R-CNN, mugurkaulu.
Veiktspēja ir ļoti atkarīga no enkura konstrukcijas izvēlēm, tostarp mērogiem, malu attiecībām un IoU robežvērtībām.
Salīdzinājuma tabula
Funkcija
Uz kopām balstīta objektu noteikšana
Uz enkuriem balstīta objektu noteikšana
Galvenā pieeja
Tieša kopas prognozēšana, izmantojot transformatorus
Iepriekš definētu enkuru klasifikācija un regresija
Nepieciešamas enkuru kastes
Nē
Jā
Pēcapstrāde
Minimāls vai nav (bez NMS)
Nepieciešama nemaksimāla slāpēšana
Treniņu stabilitāte
Vēsturiski izaicinošs, uzlabots jaunākos variantos
Parasti stabils ar labi noregulētiem hiperparametriem
Kopu noteikšana fundamentāli pārdomā problēmu, lūdzot modelim vienā piegājienā izvadīt fiksēta izmēra prognožu kopu, kur katrs elements atbilst vienam objektam. Tas novērš nepieciešamību pēc manuāli izstrādātiem komponentiem. Turpretī enkuru noteikšana sākas ar blīvu iepriekš definētu lodziņu režģi un lūdz modelim klasificēt un precizēt katru no tiem, kas konceptuāli ir vienkāršāk, bet ievieš daudzus dizaina lēmumus.
Arhitektūras atšķirības
Uz kopām balstīti detektori parasti izmanto transformatoru arhitektūras ar pašuzmanības un savstarpējas uzmanības mehānismiem, ļaujot modelim globāli spriest par objektu attiecībām. Uz enkuriem balstītas metodes galvenokārt balstās uz konvolucionāliem mugurkauliem ar reģionu piedāvājumu tīkliem vai iezīmju piramīdas tīkliem. Arhitektūras pāreja no CNN uz transformatoriem rada dažādas induktīvās novirzes un skaitļošanas raksturlielumus.
Treniņu dinamika
Agrīnie uz kopām balstīti modeļi, piemēram, DETR, bija pazīstami ar lēnu konverģenci, bieži vien pieprasot 500 epohas, lai sasniegtu ātrāka R-CNN veiktspēju 50 epohās. Turpmākais darbs pie Deformable DETR un DINO ievērojami samazināja apmācības laiku, pateicoties labākiem uzmanības mehānismiem un trokšņu slāpēšanas metodēm. Uz enkuriem balstīti modeļi gūst labumu no labi saprotamām apmācības receptēm un parasti konverģē ātrāk ar standarta iestatījumiem.
Praktiska izvietošana
Enkuru detektori joprojām dominē ražošanas sistēmās, pateicoties to briedumam, plašajam instrumentu klāstam un paredzamai uzvedībai. Kopu detektori gūst popularitāti pētniecībā un dažos komerciālos pielietojumos, kur to pilna cikla raksturs vienkāršo izvietošanas procesus. NMS neesamība kopu modeļos ir īpaši vērtīga reāllaika sistēmām, kurās ir svarīga pēcapstrādes latentums.
Veiktspējas kompromisi
COCO etalonā mūsdienīgi uz kopām balstīti detektori, piemēram, DINO un Co-DETR, ir pārspējuši uz enkuriem balstītas metodes, sasniedzot vairāk nekā 63% mAP. Tomēr uz enkuriem balstīti modeļi, piemēram, YOLOv8 un EfficientDet, joprojām ir ļoti konkurētspējīgi, īpaši ņemot vērā secinājumu ātrumu. Izvēle bieži vien ir atkarīga no tā, vai prioritāte ir precizitāte vai skaitļošanas efektivitāte.
Priekšrocības un trūkumi
Uz kopām balstīta objektu noteikšana
Iepriekšējumi
+Nav nepieciešams enkura dizains
+NMS nesaturošs cauruļvads
+Globāla spriešana, izmantojot uzmanību
+Vienkāršota apmācība no sākuma līdz beigām
Ievietots
−Lēnāka apmācības konverģence
−Augstākas skaitļošanas izmaksas
−Mazāk nobrieduši instrumenti
−Nepieciešami lieli datu kopumi
Uz enkuriem balstīta objektu noteikšana
Iepriekšējumi
+Nobriedis un labi optimizēts
+Ātrāka apmācība
+Plašs kopienas atbalsts
+Paredzama veiktspēja
Ievietots
−Nepieciešama enkura regulēšana
−Nepieciešama NMS pēcapstrāde
−Daudzi hiperparametri
−Bieži sastopamas dublētas prognozes
Biežas maldības
Mīts
Praksē uz kopu balstīta noteikšana pilnībā aizstāj uz enkuru balstītu noteikšanu.
Realitāte
Lai gan uz kopām balstītas metodes ir piesaistījušas ievērojamu pētniecisko uzmanību, uz enkuriem balstīti detektori, piemēram, YOLO varianti, joprojām plaši tiek izmantoti ražošanas sistēmās. Abas pieejas pastāv līdzās, un izvēle ir atkarīga no konkrētiem lietošanas gadījumiem, aparatūras ierobežojumiem un precizitātes prasībām.
Mīts
Kopu detektoriem vispār nav nepieciešama pēcapstrāde.
Realitāte
Lai gan uz kopām balstītas metodes apmācības laikā, izmantojot divpusēju saskaņošanu, novērš nemaksimālu nomākšanu, daži varianti joprojām izmanto vieglu filtrēšanu secinājumu veikšanas laikā. Galvenā priekšrocība ir manuāli noregulētā NMS sliekšņa noņemšana, nevis visa pēcapstrāde pilnībā.
Mīts
Uz enkuriem balstīta noteikšana ir novecojusi un nepilnvērtīga.
Realitāte
Uz enkuriem balstītas metodes turpina attīstīties un joprojām ir ļoti konkurētspējīgas. Tādi modeļi kā YOLOv8, EfficientDet un jaunākie varianti sasniedz izcilus ātruma un precizitātes kompromisus, ko uz kopām balstītas metodes reāllaika scenārijos nav pilnībā nodrošinājušas.
Mīts
Uz komplektiem balstītai noteikšanai vienmēr ir nepieciešami transformatori.
Realitāte
Lielākā daļa uz kopām balstītu detektoru izmanto transformatoru arhitektūras, taču pats kopu prognozēšanas ietvars ir arhitektūrai neitrāls. Pamatideja par nesakārtotas kopas ar unikāliem piešķīrumiem prognozēšanu teorētiski var tikt ieviesta ar citām arhitektūrām, lai gan praksē visefektīvākie ir izrādījušies transformatori.
Mīts
Enkuru kastes ir patvaļīgas un īpaši neietekmē modeļa veiktspēju.
Realitāte
Enkura konstrukcija būtiski ietekmē uz enkura balstīta detektora veiktspēju. Izvēles attiecībā uz mērogiem, malu attiecībām un IoU robežvērtībām pozitīvai/negatīvai piešķiršanai var mainīt mAP par vairākiem procentpunktiem. Slikta enkura konstrukcija noved pie nepamanītiem objektiem, īpaši neparastas formas vai mērogu gadījumā.
Bieži uzdotie jautājumi
Kāda ir galvenā atšķirība starp uz kopu balstītu un uz enkuru balstītu objektu noteikšanu?
Fundamentālā atšķirība slēpjas tajā, kā tiek ģenerētas kandidātu objektu atrašanās vietas. Kopu noteikšana tieši paredz ierobežojošo lodziņu kopu, izmantojot uz transformatoriem balstītas arhitektūras un divpusēju saskaņošanu, uztverot noteikšanu kā kopas prognozēšanas problēmu. Enkuru noteikšana sākas ar tūkstošiem iepriekš definētu enkuru lodziņu dažādos mērogos un malu attiecībās, pēc tam klasificē un precizē katru no tiem. Kopu metodes novērš nepieciešamību pēc manuāli izstrādātiem enkuriem un nemaksimālas slāpēšanas.
Kāpēc DETR ieviesa uz kopām balstītu objektu noteikšanu?
DETR ieviesa Facebook AI Research 2020. gadā, lai racionalizētu noteikšanas procesu, noņemot ar roku izstrādātus komponentus, piemēram, enkura ģenerēšanu un nemaksimālu slāpēšanu. Autori vēlējās izveidot patiesi pilnīgu detektoru, ko varētu apmācīt ar vienādu zaudējumu funkciju visās komponentēs. Viņi pārformulēja noteikšanu kā kopas prognozēšanas problēmu, izmantojot transformatorus un divpusēju saskaņošanu, lai nodrošinātu unikālas prognozes katram pamatpatiesības objektam.
Vai uz kopu balstīta noteikšana ir precīzāka nekā uz enkuru balstīta noteikšana?
Mūsdienu uz kopām balstīti detektori, piemēram, DINO un Co-DETR, ir sasnieguši augstākus COCO mAP rādītājus nekā lielākā daļa uz enkuriem balstītu metožu, sasniedzot vairāk nekā 63% mAP. Tomēr precizitāte ir ļoti atkarīga no konkrētā modeļa varianta, apmācības konfigurācijas un novērtēšanas apstākļiem. Daži uz enkuriem balstīti modeļi joprojām ir konkurētspējīgi, īpaši, ja ņem vērā secinājumu ātrumu līdzās precizitātei.
Kāpēc kopu detektoru apmācība aizņem ilgāku laiku?
Agrīnajiem uz kopām balstītiem modeļiem, piemēram, sākotnējam DETR, bija raksturīga lēna konverģence divpusējās atbilstības optimizācijas grūtību un uzmanības mehānisma nepieciešamības dēļ apgūt objektu attiecības no nulles. Apmācība varēja ilgt 500 epohus, salīdzinot ar 50, ko izmantoja ātrāks R-CNN. Jaunāki varianti, piemēram, Deformable DETR un DINO, ir risinājuši šo problēmu, uzlabojot uzmanības mehānismus, trokšņu slāpēšanas apmācību un labāku inicializāciju, ievērojami samazinot apmācības laiku.
Vai komplektiem balstītiem detektoriem ir nepieciešama nemaksimāla slāpēšana?
Nē, uz kopām balstīti detektori novērš nepieciešamību pēc nemaksimālas slāpēšanas, izmantojot divpusēju saskaņošanu apmācības laikā. Ungārijas algoritms nodrošina, ka katrs pamatpatiesības objekts tiek saskaņots ar tieši vienu prognozi, novēršot dublikātus. Šī ir viena no galvenajām uz kopām balstītas pieejas priekšrocībām, jo NMS ir nepieciešami manuāli noregulēti sliekšņi un tas palielina skaitļošanas slodzi.
Kura pieeja ir labāka objektu noteikšanai reāllaikā?
Enkuru metodes pašlaik dominē reāllaika lietojumprogrammās, pateicoties to skaitļošanas efektivitātei un nobriedušai optimizācijai. Tādi modeļi kā YOLOv8 un EfficientDet piedāvā izcilu ātruma un precizitātes kompromisu. Tomēr kopu detektori panāk, un tādi varianti kā DINO-Faster sasniedz konkurētspējīgu secinājumu ātrumu, vienlaikus saglabājot transformatoru arhitektūras priekšrocības.
Vai var apvienot uz kopām balstītas un uz enkuriem balstītas metodes?
Jā, ir izpētītas hibrīdas pieejas. Daži pētnieki ir iekļāvuši enkura tipa apriorus kopās balstītos ietvaros, savukārt citi ir izmantojuši transformatora uzmanības mehānismus enkura balstītos cauruļvados. Šīs hibrīdās metodes mērķis ir apvienot abu pieeju stiprās puses, lai gan katras paradigmas tīra ieviešana joprojām ir izplatītāka pētniecībā un ieviešanā.
Kādi ir labākie uz kopām balstīti objektu noteikšanas modeļi 2024.–2025. gadā?
Vadošie uz kopām balstīti detektori ietver DINO, kas ieviesa kontrastīvo trokšņu slāpēšanas apmācību, un Co-DETR, kas sasniedz modernākos rezultātus COCO. Deformējamais DETR joprojām ir ietekmīgs sava efektīvā uzmanības mehānisma dēļ. Šie modeļi lielā mērā ir risinājuši sākotnējā DETR apmācības nestabilitātes un lēnās konverģences problēmas, vienlaikus paplašinot precizitātes robežas.
Kā enkura kastes ietekmē noteikšanas veiktspēju?
Enkuru kastes būtiski ietekmē uz enkuriem balstītu detektoru veiktspēju, izmantojot to mērogus, malu attiecības un blīvumu. Labi izstrādāti enkuri, kas atbilst datu kopas objektu sadalījumam, uzlabo atpazīšanu, savukārt slikti izvēlēti enkuri izraisa neatklātas noteikšanas. Iezīmju piramīdas tīkli palīdz, nodrošinot enkurus vairākos mērogos, taču fundamentālā atkarība no enkuru dizaina joprojām ir ierobežojums, no kura kopām balstītas metodes izvairās.
Vai noteikšana bez enkura ir tas pats, kas noteikšana, kuras pamatā ir kopa?
Nē, šie termini attiecas uz dažādiem jēdzieniem. Noteikšana bez enkura ietver tādas metodes kā CenterNet un FCOS, kas paredz objektu centrus vai atslēgas punktus bez iepriekš definētiem lodziņiem, bet joprojām izmanto pēcapstrādi. Kopu noteikšana īpaši attiecas uz uz transformatoru balstītu kopu prognozēšanas paradigmu, ko ieviesa DETR. Dažas no enkura bezmetodes nav uz kopām balstītas, un daži uz kopām balstīti jēdzieni teorētiski varētu attiekties uz arhitektūrām bez transformatoriem.
Spriedums
Izvēlieties uz kopām balstītu objektu noteikšanu, ja jums ir nepieciešams pilnīgs cauruļvads bez pēcapstrādes, strādājat pie pētniecības projektiem vai vēlaties izmantot transformatoru arhitektūras globālai spriešanai. Izvēlieties uz enkuriem balstītu noteikšanu, ja jums ir nepieciešami pārbaudīti, ražošanai gatavi modeļi ar plašu kopienas atbalstu, ātrāku apmācību un labi izprotamu uzvedību dažādos izvietošanas scenārijos.