DETR nově chápe detekci objektů tím, že ji považuje za problém predikce množin pomocí transformátorů, čímž eliminuje ručně vyráběné komponenty, jako jsou kotevní boxy a ne-maximální potlačení. Tradiční detektory založené na CNN, jako jsou Faster R-CNN a YOLO, se spoléhají na návrhy oblastí a vícestupňové pipeline, které po léta dominovaly počítačovému vidění.
Komplexní model detekce objektů, který využívá architekturu transformátorového kodéru a dekodéru k předpovědi sad objektů přímo z obrazových prvků.
Metody detekce objektů postavené na konvolučních neuronových sítích, které k lokalizaci objektů využívají návrhy oblastí, kotevní rámečky nebo predikce založené na mřížce.
| Funkce | Detekce objektů pomocí transformátorů (DETR) | Tradiční detekce založená na CNN |
|---|---|---|
| Typ architektury | Transformátorový kodér-dekodér s páteřní sítí CNN | Čistě konvoluční neuronová síť s hlavami specifickými pro danou úlohu |
| Predikční přístup | Predikce sad pomocí bipartitního porovnávání | Predikce mřížky založené na kotvách nebo bez kotev |
| Vyžaduje se následné zpracování | Žádný (výstup typu end-to-end) | Vyžadováno ne-maximální potlačení (NMS) |
| Konvergence tréninku | Pomalejší, vyžaduje 500 epoch na COCO | Rychlejší, obvykle 12–300 epoch v závislosti na modelu |
| Rychlost inference | Střední, kolem 10-30 FPS na GPU | Rychlý, v rozmezí 30-300+ FPS v závislosti na variantě |
| Zpracování duplicitních předpovědí | Vestavěné pomocí ztráty na základě nastavení | Zpracováno laděním prahu NMS |
| Porozumění globálnímu kontextu | Silný, skrze sebepozornost napříč celým obrazem | Omezené, závisí na velikosti receptivního pole |
| Složitost komponent | Zjednodušený potrubí, méně ručně vyráběných dílů | Více ručně navržených komponentů, jako jsou kotvy a NMS |
| Výkon na COCO (mAP) | 44-63 AP v závislosti na variantě (DETR, Deformovatelné DETR) | 37-55 AP pro populární varianty jako YOLOv8, Faster R-CNN |
DETR zásadně mění fungování detekce tím, že ji představuje jako problém s přímou predikční množinou. Místo generování tisíců kandidátských polí a jejich filtrování vygeneruje pevnou sadu predikcí (obvykle 100) a porovná je s pravdou pomocí maďarského algoritmu. Tradiční detektory CNN používají inkrementálnější přístup, sestavují detekce pomocí návrhů, kotev nebo buněk mřížky a poté je zpřesňují pomocí několika fází klasifikace a regrese.
Jednou z největších prodejních výhod DETR je jeho zjednodušený proces. Odstraněním generování kotev, návrhů regionů a NMS se model stává mnohem srozumitelnějším a upravitelnějším. Tradiční detektory, ačkoli jsou vysoce optimalizované, obsahují mnoho ručně vyrobených komponent, které vyžadují pečlivé ladění. Každá komponenta zavádí hyperparametry a konstrukční rozhodnutí, která mohou ovlivnit výkon, což činí tyto systémy složitějšími pro vývoj a ladění.
Trénování DETR je notoricky pomalejší než u alternativ založených na CNN. Původní model vyžadoval 500 epoch na COCO k dosažení konkurenceschopného výkonu, částečně proto, že transformační dekodér potřebuje čas na naučení prostorových vzorců pozornosti. Následné varianty, jako například Deformable DETR, tento problém řešily zavedením mechanismů pozornosti, které se zaměřují na specifické oblasti obrazu, čímž se doba trénování zkrátila zhruba 10krát. Detektory CNN, jako je YOLO, dokáží konvergovat za zlomek tohoto času, což je velmi důležité při iteracích na nových datových sadách.
Pro aplikace v reálném čase mají tradiční detektory CNN stále značnou výhodu. Varianty YOLO a podobné jednostupňové modely mohou na moderních grafických procesorech běžet rychlostí stovek snímků za sekundu, což je činí ideálními pro video analýzu, autonomní řízení a robotiku. DETR běží ve své původní podobě podstatně pomaleji, ačkoli optimalizované verze a efektivní konstrukce transformátorů tuto mezeru zmenšují. Výpočetní náklady na vlastní pozornost v celém obrazu zůstávají úzkým hrdlem detektorů založených na transformátorech.
Mechanismus sebepozornosti DETR mu umožňuje uvažovat o vztazích mezi vzdálenými částmi obrazu, což pomáhá s detekcí zakrytých objektů a porozuměním kontextu scény. Tradiční CNN mají omezenější receptivní pole, ačkoli techniky jako dilatované konvoluce a pyramidové sítě rysů pomáhají rozšířit jejich efektivní kontext. V praxi oba přístupy dobře zvládají běžné scénáře detekce, ale DETR má tendenci lépe fungovat u objektů, které vyžadují pochopení širších vztahů v scéně.
Tradiční detekce založená na CNN má obrovský náskok, co se týče nástrojů, předtrénovaných modelů, tutoriálů a produkčního nasazení. Frameworky jako Ultralytics YOLO, MMDetection a Detectron2 nabízejí rozsáhlou podporu pro detektory CNN. Ekosystém DETR rychle roste a varianty jako DINO, Co-DETR a RT-DETR posouvají hranice výkonu, ale výrobní inženýři stále často volí řešení založená na CNN kvůli jejich vyspělosti a rychlosti.
DETR kompletně nahrazuje všechny komponenty CNN v detekci objektů.
DETR stále používá pro počáteční extrakci prvků páteřní sběrnici CNN (obvykle ResNet). Transformátor nahrazuje pouze detekční hlavici a predikční mechanismus. Páteřní sběrnice CNN zůstává nezbytná pro převod nezpracovaných pixelů do smysluplných map prvků.
Tradiční detektory CNN jsou kvůli DETR zastaralé.
Detektory založené na CNN i nadále dominují v produkčních nasazeních díky své rychlosti a efektivitě. Modely jako YOLOv8, YOLOv9 a RT-DETR (který ve skutečnosti kombinuje oba přístupy) zůstávají pro mnoho reálných aplikací nejmodernějšími. DETR je důležitou alternativou, nikoli náhradou.
DETR nepotřebuje vůbec žádné následné zpracování.
Ačkoli DETR eliminuje NMS a zpracování kotev, stále vyžaduje prahování spolehlivosti k filtrování predikcí s nízkou spolehlivostí. Model vydává pevný počet predikcí (obvykle 100) a jako finální detekce se uchovávají pouze ty nad prahovou hodnotou.
DETR je vždy přesnější než detektory založené na CNN.
Přesnost silně závisí na konkrétní variantě a případu použití. Zatímco DETR a jeho nástupci dosahují konkurenceschopných skóre mAP, mnoho detektorů založených na CNN je v určitých benchmarkech srovnává nebo překračuje. Původní DETR si ve skutečnosti vedl srovnatelně s Faster R-CNN, nikoli však dramaticky lépe.
DETR nelze použít pro aplikace v reálném čase.
Zatímco původní DETR byl pro použití v reálném čase příliš pomalý, novější varianty jako RT-DETR (Real-Time DETR) byly speciálně optimalizovány pro rychlost a mohou dosáhnout konkurenceschopných snímkových frekvencí. Rodina detekčních systémů založených na transformátorech se od roku 2020 výrazně vyvinula.
Zvolte DETR, pokud potřebujete čistý, komplexní proces a můžete si dovolit delší dobu trénování, zejména pro výzkumné scénáře, kde záleží na globálním kontextu a manipulaci s okluzí. Pro produkční systémy vyžadující inferenci v reálném čase, rychlejší trénovací cykly a přístup k rozvinutému ekosystému nástrojů a předtrénovaných modelů zvolte tradiční detekci založenou na CNN.
A/B testování u vydání obsahu zahrnuje zavádění variant pro různé segmenty publika a měření výkonu, zatímco jednorázová vydání obsahu nabídnou jednu verzi všem najednou. Každý přístup vyhovuje jiným cílům, přičemž A/B testování upřednostňuje optimalizaci na základě dat a jednorázová vydání upřednostňují rychlost a jednoduchost.
A/B testování v modelovém servisu směruje provoz mezi konkurenčními verzemi modelů za účelem měření reálného výkonu, zatímco nasazení jednoho modelu dodává jeden model všem uživatelům. Týmy si mezi nimi vybírají na základě tolerance rizika, objemu provozu a potřeby statistického ověření před plným nasazením.
Toto srovnání analyzuje strategické volby v oblasti strojového učení mezi adaptací domény, která přenáší znalosti z označeného zdrojového prostředí do jiného cílového prostředí, a školením v doméně, které vytváří modely výhradně na datech získaných z přesného cílového nastavení nasazení.
Toto podrobné srovnání zkoumá architektonické rozdíly, provozní limity a reálný výkon adaptivních inteligentních systémů v porovnání s automatizačními systémy s pevným chováním. Zaměřujeme se na to, jak se systémy, které se neustále učí z nových environmentálních dat, vyrovnávají s rigidními, předvídatelnými rámci založenými na pravidlech.
Adaptivní vyhledávání dynamicky upravuje, jak a jaké informace systém načítá, na základě dotazu, zatímco statické vyhledávání se řídí pevnými pravidly bez ohledu na kontext. Oba systémy pohánějí moderní aplikace umělé inteligence, ale výrazně se liší ve flexibilitě, nákladech a přesnosti. Výběr mezi nimi závisí na složitosti pracovní zátěže a rozpočtu.
