Detectarea obiectelor prin viziune computerizată vs. sarcini de clasificare a imaginilor
Detectarea obiectelor și clasificarea imaginilor sunt ambele sarcini esențiale ale vederii computerizate, dar servesc scopuri fundamental diferite. Clasificarea etichetează o imagine întreagă cu o singură categorie, în timp ce detectarea obiectelor localizează și identifică mai multe obiecte dintr-o scenă. Alegerea dintre ele depinde de nevoia de a ști ce se află într-o imagine sau unde sunt poziționate anumite elemente.
Evidențiate
Detectarea obiectelor oferă localizare spațială prin intermediul unor casete de încadrare, în timp ce clasificarea generează o singură etichetă per imagine.
Modelele de clasificare sunt semnificativ mai rapide și necesită o putere de calcul mai mică decât modelele de detecție.
Detectarea necesită adnotări costisitoare în cadrul casetei de delimitare, în timp ce clasificarea are nevoie doar de etichete la nivel de imagine.
Ambele sarcini au în comun arhitecturi fundamentale, precum backbone-urile ResNet, dar detecția adaugă capete de predicție regională pentru localizare.
Ce este Detectarea obiectelor prin viziune computerizată?
Identifică și localizează mai multe obiecte dintr-o imagine folosind casete de încadrare și etichete de clasă.
Detectarea obiectelor combină clasificarea cu localizarea, prezicând atât ce obiecte sunt prezente, cât și unde apar acestea în coordonate de pixeli.
Arhitecturile populare includ YOLO, Faster R-CNN, SSD și DETR, fiecare echilibrând viteza și precizia în mod diferit.
Seturile de date Pascal VOC și COCO au fost repere fundamentale, COCO conținând peste 330.000 de imagini și 2,5 milioane de instanțe etichetate.
Detectoarele moderne pot procesa videoclipuri în timp real, YOLOv8 și YOLOv9 atingând viteze de inferență care depășesc 100 FPS pe hardware adecvat.
Aplicațiile acoperă vehicule autonome, sisteme de supraveghere, imagistică medicală, analize pentru comerțul cu amănuntul și monitorizare agricolă.
Ce este Sarcini de clasificare a imaginilor?
Atribuie o singură etichetă sau categorie unei imagini întregi pe baza conținutului său vizual dominant.
Clasificarea imaginilor generează una sau mai multe etichete pentru o imagine întreagă fără a indica unde sunt amplasate obiectele din punct de vedere spațial.
Setul de date ImageNet, cu peste 14 milioane de imagini etichetate în 20.000 de categorii, a catalizat revoluția învățării profunde în 2012, când AlexNet a câștigat competiția ILSVRC.
Modelele de clasificare rulează de obicei mai rapid decât modelele de detecție, deoarece necesită o singură trecere înainte per imagine, fără propuneri de regiune.
Cazurile de utilizare comune includ moderarea conținutului, diagnosticul medical pe baza radiografiilor, controlul calității în producție și identificarea speciilor în ecologie.
Tabel comparativ
Funcție
Detectarea obiectelor prin viziune computerizată
Sarcini de clasificare a imaginilor
Ieșire primară
Casete de delimitare cu etichete de clasă și scoruri de încredere
Etichetă de clasă unică pentru întreaga imagine
Informații spațiale
Oferă locații precise ale obiectelor folosind coordonate
Nu sunt furnizate informații spațiale sau poziționale
Număr de obiecte
Poate detecta mai multe obiecte simultan
Identifică doar subiectul dominant
Costul computațional
Mai mare datorită propunerilor regionale și predicțiilor multiple
Coborâți cu o singură trecere înainte per imagine
Complexitatea modelului
Mai complex cu componente ale coloanei vertebrale, gâtului și capului
Arhitectură mai simplă, axată pe extragerea caracteristicilor
Interval de precizie tipic
mAP 40-65 pe benchmark-ul COCO pentru modele de ultimă generație
Precizie de top 85-91% pe ImageNet pentru modelele principale
Cerințe privind datele de instruire
Necesită adnotări în caseta de delimitare, etichetare mai costisitoare
Necesită doar etichete la nivel de imagine, adnotări mai ieftine
Viteză de inferență
În timp real posibil (30-100+ FPS) cu modele optimizate
Foarte rapid, adesea peste 100 FPS chiar și pe hardware modest
Cel mai bun caz de utilizare
Scene cu mai multe obiecte care necesită localizare
Imagini cu un singur subiect care necesită identificarea categoriei
Comparație detaliată
Scopul principal și rezultatul
Distincția fundamentală constă în ceea ce își propune fiecare sarcină să realizeze. Clasificarea imaginilor răspunde la întrebarea „ce se află în această imagine?” prin atribuirea uneia sau mai multor etichete întregii imagini. Detectarea obiectelor merge mai departe, răspunzând la întrebarea „ce se află în această imagine și unde anume se află?” folosind casete de delimitare în jurul fiecărui element detectat. Dacă încărcați o fotografie stradală, un clasificator ar putea să o eticheteze „scenă urbană”, în timp ce un detector ar desena casete în jurul mașinilor, pietonilor, semafoarelor și indicatoarelor individual.
Arhitectură și design de modele
Modelele de clasificare tind să urmeze o rețea simplă: o rețea principală extrage caracteristici, iar un clasificator principal generează probabilități. Modelele de detectare a obiectelor sunt în mod inerent mai complexe, constând de obicei dintr-o rețea principală pentru extragerea caracteristicilor, un gât pentru fuziunea caracteristicilor și un cap care prezice atât clasele, cât și coordonatele casetei de delimitare. Această complexitate suplimentară explică motivul pentru care modelele de detectare necesită mai mulți parametri și resurse de calcul pentru a obține o precizie comparabilă la parametrii lor de referință.
Date de antrenament și adnotări
Seturile de date pentru clasificarea imaginilor au nevoie doar de etichete la nivel de imagine, ceea ce le face mai ieftine și mai rapide de produs la scară largă. Detectarea obiectelor necesită adnotări de tip casetă de delimitare pentru fiecare instanță a obiectului, un proces care poate dura de 10 până la 100 de ori mai mult per imagine, în funcție de complexitatea scenei. Seturile de date precum COCO au necesitat mii de ore de adnotare pentru a fi finalizate, în timp ce etichetele de clasificare ale ImageNet au fost obținute prin crowdsourcing relativ rapid prin servicii precum Amazon Mechanical Turk.
Compromisuri între performanță și viteză
Modelele de clasificare rulează în general mai rapid și ating o precizie mai mare la testele lor de referință, deoarece sarcina este mai simplă. Clasificatoarele de ultimă generație depășesc o precizie de 91% în top-1 pe ImageNet, în timp ce detectoarele de obiecte de top ating aproximativ 63-65 mAP pe COCO. Cu toate acestea, modelele de detecție au făcut progrese remarcabile în ceea ce privește viteza, detectoarele cu o singură etapă, precum YOLO, reducând decalajul pentru a permite aplicații în timp real. Alegerea se reduce adesea la necesitatea preciziei spațiale sau a randamentului maxim.
Aplicații din lumea reală
Clasificarea este remarcabilă în scenariile în care locația nu contează, cum ar fi filtrarea conținutului neadecvat, diagnosticarea bolilor din scanările medicale sau sortarea produselor pe categorii. Detectarea obiectelor este esențială atunci când poziția contează, inclusiv în conducerea autonomă (identificarea pietonilor și a altor vehicule), gestionarea stocurilor din comerțul cu amănuntul, monitorizarea faunei sălbatice și manipularea robotică. Multe sisteme de producție combină de fapt ambele, folosind clasificarea pentru a filtra rapid imaginile înainte de a rula detectarea pe cele relevante.
Avantaje și dezavantaje
Detectarea obiectelor prin viziune computerizată
Avantaje
+Oferă locații ale obiectelor
+Gestionează mai multe obiecte
+Rezultat spațial bogat
+Permite cazuri de utilizare în timp real
+Aplicații versatile
Conectare
−Cost de calcul mai mare
−Sunt necesare adnotări costisitoare
−Mai complex de antrenat
−Precizie mai mică a benchmark-ului
Sarcini de clasificare a imaginilor
Avantaje
+Viteză mare de inferență
+Arhitectură mai simplă
+Mai ieftin de adnotat
+Precizie ridicată a benchmark-ului
+Ușor de implementat
Conectare
−Nicio informație spațială
−Limitarea unei singure etichete
−Ratează mai multe obiecte
−Înțelegere limitată a scenei
Idei preconcepute comune
Mit
Detectarea obiectelor este doar o clasificare cu pași suplimentari.
Realitate
Deși clasificarea este o componentă a detectării, detectarea obiectelor adaugă o ramură de localizare care prezice coordonatele, ceea ce o face o sarcină fundamental diferită. Arhitecturile, funcțiile de pierdere și metricile de evaluare diferă semnificativ. Modelele de detectare trebuie să gestioneze un număr variabil de obiecte per imagine, lucru pe care clasificarea nu îl întâlnește niciodată.
Mit
O precizie mai mare a clasificării înseamnă o performanță mai bună de detectare.
Realitate
Un model care excelează la clasificarea ImageNet nu are automat performanțe bune la detectarea obiectelor. Detecția necesită ca rețeaua principală să păstreze informațiile spațiale, în loc să le combine într-un singur vector, motiv pentru care există arhitecturi și strategii de antrenament specifice detectării.
Mit
Puteți converti cu ușurință un clasificator într-un detector.
Realitate
Deși tehnici precum Grad-CAM pot evidenția regiunile pe care se concentrează un clasificator, aceste hărți termice nu sunt cutii de delimitare precise. Construirea unui detector adevărat necesită reantrenament cu adnotări de tip cutie de delimitare și o arhitectură specifică detectării. Cele două sarcini nu sunt interschimbabile.
Mit
Detectarea obiectelor depășește întotdeauna clasificarea în sarcinile din lumea reală.
Realitate
Detectarea este o metodă exagerată pentru multe aplicații. Dacă trebuie doar să știi dacă o imagine conține o pisică, rularea unui model complet de detectare irosește resurse. Clasificarea rămâne alegerea mai bună atunci când locația este irelevantă, iar utilizarea detectării crește inutil latența și costurile de infrastructură.
Mit
Detectoarele moderne de obiecte funcționează perfect în orice mediu.
Realitate
Modelele de detecție se confruntă cu dificultăți în ceea ce privește ocluzia, obiectele mici, unghiurile neobișnuite și deplasarea distribuției. Modelele de ultimă generație încă eșuează în cazurile limită pe care oamenii le gestionează fără efort, motiv pentru care aplicațiile critice pentru siguranță, cum ar fi conducerea autonomă, necesită validare și redundanță extinse.
Întrebări frecvente
Care este principala diferență dintre detectarea obiectelor și clasificarea imaginilor?
Clasificarea imaginilor atribuie o singură etichetă întregii imagini, răspunzând la întrebarea „ce este asta?”. Detectarea obiectelor merge mai departe prin localizarea obiectelor și cu ajutorul unor casete de încadrare, răspunzând la întrebarea „ce este asta și unde este?”. Distincția cheie constă în informațiile spațiale: clasificarea ignoră unde se află obiectele, în timp ce detecția oferă coordonate precise pentru fiecare element identificat.
Ce sarcină este mai dificil de îndeplinit pentru IA?
Detectarea obiectelor este în general considerată mai dificilă deoarece necesită rezolvarea simultană atât a clasificării, cât și a localizării. Modelul trebuie să prezică un număr variabil de obiecte, să gestioneze suprapunerea cutiilor și să mențină acuratețea spațială. Clasificarea trebuie doar să determine conținutul dominant, ceea ce o face o problemă de învățare mai simplă, cu o precizie mai mare ce poate fi obținută pe criterii de referință standard.
Poți folosi detectarea obiectelor pentru clasificarea imaginilor?
Da, dar este ineficient. Poți rula un detector de obiecte și să utilizezi clasele detectate ca etichete de clasificare, dar acest lucru irosește calcule, deoarece detectarea este mai costisitoare. Un clasificator dedicat va fi mai rapid și mai precis pentru sarcinile pure de clasificare. Detectarea merită costul doar atunci când ai nevoie de locații în cadrul cutiei de delimitare.
Care sunt cele mai bune seturi de date pentru antrenarea fiecărei sarcini?
Pentru clasificare, ImageNet rămâne standardul de aur, cu 14 milioane de imagini din mii de categorii. CIFAR-10 și CIFAR-100 sunt populare pentru experimente la scară mai mică. Pentru detectarea obiectelor, COCO (Common Objects in Context) este cel mai utilizat benchmark, cu 330.000 de imagini și 80 de categorii de obiecte. Pascal VOC este un alt set de date clasic adesea folosit pentru învățare și prototipare.
Cu ce modele ar trebui să înceapă începătorii?
Pentru clasificare, începeți cu ResNet-50 sau EfficientNet-B0, care oferă rapoarte bune între precizie și complexitate și o documentație extinsă. Pentru detectarea obiectelor, YOLOv5 sau YOLOv8 sunt ușor de utilizat pentru începători, deoarece au API-uri simple, comunități active și ponderi pre-antrenate. R-CNN, mai rapid, este mai precis, dar mai greu de configurat pentru începători.
De câte date de antrenament ai nevoie pentru fiecare sarcină?
Clasificarea poate funcționa cu sute până la câteva mii de imagini per clasă folosind învățarea prin transfer de la modele pre-antrenate. Detectarea obiectelor necesită de obicei mai multe date, adesea minimum câteva mii de imagini adnotate, deoarece modelul trebuie să învețe atât să recunoască obiectele, cât și să prezică cu precizie casetele de delimitare. Detectarea cu puține cadre rămâne un domeniu de cercetare activ.
Este YOLO un model de clasificare sau de detectare?
YOLO (You Only Look Once - Te uiți doar o dată) este un model de detectare a obiectelor, nu un clasificator. Acesta prezice simultan casetele de încadrare și probabilitățile de clasă într-o singură trecere înainte, ceea ce îl face unul dintre cei mai rapizi detectori în timp real disponibili. Există variante de clasificare ale arhitecturilor YOLO, dar versiunile originale și cele mai populare sunt concepute pentru detectare.
De ce hardware ai nevoie pentru a rula aceste modele?
Modelele de clasificare pot rula confortabil pe procesoare pentru inferență, chiar și dispozitivele mobile gestionându-le eficient. Detectarea obiectelor necesită mai multe resurse, în special pentru aplicațiile în timp real. Un GPU modern este recomandat pentru antrenarea ambelor sarcini, dar inferența pentru detectoare optimizate precum YOLOv8-nano poate rula pe dispozitive edge, inclusiv Raspberry Pi și telefoane mobile.
Cum evaluezi performanța modelului pentru fiecare sarcină?
Clasificarea utilizează metrici precum precizia primelor 1, precizia primelor 5, precizia, rechemarea și scorul F1. Detectarea obiectelor utilizează precizia medie (mAP) calculată la diferite praguri IoU, cum ar fi mAP@0.5 sau mAP@0.5:0.95 (metrica COCO). Evaluarea detectării este mai complexă, deoarece trebuie să țină cont atât de corectitudinea clasificării, cât și de precizia localizării.
Pot fi folosite transformatoarele pentru ambele sarcini?
Da, Vision Transformers (ViT) și variantele lor funcționează bine atât pentru clasificare, cât și pentru detectare. DETR (Detection Transformer) a fost un model pionier care a aplicat transformatoarele pentru detectarea completă a obiectelor. Modele precum Swin Transformer servesc drept coloană vertebrală pentru ambele sarcini, obținând adesea rezultate de ultimă generație atunci când sunt disponibile suficiente date de antrenament.
Verdict
Alegeți clasificarea imaginilor atunci când trebuie să clasificați rapid imaginile în funcție de conținutul lor general și nu aveți nevoie de informații spațiale, în special în medii cu resurse limitate. Optați pentru detectarea obiectelor atunci când aplicația dvs. necesită cunoașterea atât a obiectelor prezente, cât și a locului în care apar acestea, acceptând costul de calcul mai mare ca un compromis necesar pentru un rezultat mai bogat.
