DETR объекттерди аныктоону трансформаторлорду колдонуу менен белгиленген божомолдоо маселеси катары кароо менен кайрадан элестетет, анкер кутучалары жана максималдуу эмес басуу сыяктуу кол менен жасалган компоненттерди жок кылат. Faster R-CNN жана YOLO сыяктуу салттуу CNN негизиндеги детекторлор аймактык сунуштарга жана көп жылдар бою компьютердик көрүү системасында үстөмдүк кылып келген көп баскычтуу түтүктөрдүн негизинде иштейт.
Объекттердин топтомун түздөн-түз сүрөттүн өзгөчөлүктөрүнөн алдын ала айтуу үчүн трансформатордук коддогуч-декоддогуч архитектурасын колдонгон объекттерди толук аныктоо модели.
Объекттерди локалдаштыруу үчүн аймактык сунуштарды, анкердик кутучаларды же торчо негизиндеги божомолдорду колдонгон конволюциялык нейрон тармактарына негизделген объекттерди аныктоо ыкмалары.
| Мүмкүнчүлүк | Трансформаторлор менен объекттерди аныктоо (DETR) | CNNге негизделген салттуу аныктоо |
|---|---|---|
| Архитектура түрү | CNN магистралы менен трансформатордук коддогуч-декоддоочу | Тапшырмага мүнөздүү баштары бар таза конволюциялык нейрон тармагы |
| Алдын ала айтуу ыкмасы | Эки тараптуу дал келүү аркылуу божомолду коюңуз | Якорьго негизделген же якорьсуз торчо божомолдору |
| Кийинки иштетүү талап кылынат | Жок (башынан аягына чейин чыгаруу) | Максималдуу эмес басуу (NMS) талап кылынат |
| Окутуу конвергенциясы | Жайыраак, COCOдо 500 доор талап кылынат | Тезирээк, адатта моделине жараша 12-300 доор |
| Жыйынтыктоо ылдамдыгы | Орточо, GPU'да болжол менен 10-30 FPS | Тез, вариантына жараша 30дан 300+ FPSке чейин |
| Кайталанган божомолдорду иштетүү | Орнотулган жоготуу аркылуу орнотулган | NMS босогосун жөндөө аркылуу башкарылат |
| Глобалдык контекстти түшүнүү | Сүрөттүн аркы бетине өзүнө көңүл буруу аркылуу күчтүү | Чектелген, кабыл алуучу талаанын өлчөмүнө жараша болот |
| Компоненттин татаалдыгы | Жөнөкөйлөштүрүлгөн түтүк, кол менен жасалган тетиктер азыраак | Якорь жана NMS сыяктуу бир нече кол менен жасалган компоненттер |
| COCO (mAP) боюнча көрсөткүчтөр | 44-63 AP вариантына жараша (DETR, Deformable DETR) | YOLOv8, Faster R-CNN сыяктуу популярдуу варианттар үчүн 37-55 AP |
DETR аныктоонун кантип иштээрин түп-тамырынан бери өзгөртөт, аны түз коюлган божомолдоо маселеси катары көрсөтөт. Миңдеген талапкер кутучаларын түзүп, аларды чыпкалоонун ордуна, ал болжолдоолордун белгиленген жыйындысын (адатта 100) чыгарат жана аларды венгер алгоритмин колдонуп, чындыктын негизине дал келтирет. Салттуу CNN детекторлору көбүрөөк инкременталдык ыкманы колдонушат, аныктоолорду сунуштар, якорьлор же торчо клеткалары аркылуу курушат, андан кийин аларды классификациялоонун жана регрессиянын бир нече этаптары аркылуу такташат.
DETRдин эң чоң артыкчылыктарынын бири - анын жөнөкөйлөштүрүлгөн түтүгү. Якорь генерациясын, аймактык сунуштарды жана NMSти алып салуу менен, моделди түшүнүү жана өзгөртүү бир топ жеңилдейт. Салттуу детекторлор, жогорку деңгээлде оптималдаштырылганы менен, кылдаттык менен жөндөөнү талап кылган көптөгөн кол менен жасалган компоненттерди камтыйт. Ар бир компонент иштин натыйжалуулугуна таасир эте турган гиперпараметрлерди жана дизайн чечимдерин киргизет, бул системаларды иштеп чыгууну жана мүчүлүштүктөрдү оңдоону татаалдаштырат.
DETRдин окутуусу CNNге негизделген альтернативаларга караганда жайыраак экени белгилүү. Баштапкы моделге атаандаштыкка жөндөмдүүлүккө жетүү үчүн COCOдо 500 доор талап кылынган, себеби трансформатордун декодери мейкиндиктеги көңүл буруу үлгүлөрүн үйрөнүү үчүн убакытты талап кылат. Кийинки Deformable DETR сыяктуу варианттар бул маселени сүрөттүн белгилүү бир аймактарына багытталган көңүл буруу механизмдерин киргизүү менен чечип, окутуу убактысын болжол менен 10 эсе кыскарткан. YOLO сыяктуу CNN детекторлору ошол убакыттын бир бөлүгүндө конвергенциялана алат, бул жаңы маалыматтар топтомдорун итерациялоодо абдан маанилүү.
Реалдуу убакыттагы колдонмолор үчүн салттуу CNN детекторлору дагы эле олуттуу артыкчылыкка ээ. YOLO варианттары жана ушул сыяктуу бир баскычтуу моделдер заманбап GPUларда секундасына жүздөгөн кадрлар менен иштей алат, бул аларды видеоаналитика, автономдуу айдоо жана робототехника үчүн идеалдуу кылат. DETR баштапкы түрүндө бир топ жай иштейт, бирок оптималдаштырылган версиялар жана натыйжалуу трансформатордук конструкциялар бул боштукту жоюп жатат. Бүтүндөй сүрөт боюнча өзүнө көңүл буруунун эсептөө наркы трансформаторго негизделген детекторлор үчүн тоскоолдук бойдон калууда.
DETRдин өзүнө көңүл буруу механизми ага сүрөттүн алыскы бөлүктөрүнүн ортосундагы мамилелер жөнүндө ой жүгүртүүгө мүмкүндүк берет, бул жабык объектилерди аныктоого жана көрүнүштүн контекстин түшүнүүгө жардам берет. Салттуу CNNлердин кабыл алуу талаасы чектелүү, бирок кеңейтилген бурулуштар жана функция пирамидасы тармактары сыяктуу ыкмалар алардын натыйжалуу контекстин кеңейтүүгө жардам берет. Иш жүзүндө эки ыкма тең кеңири таралган аныктоо сценарийлерин жакшы чечет, бирок DETR кеңири көрүнүш мамилелерин түшүнүүнү талап кылган объектилерде жакшыраак иштейт.
CNNге негизделген салттуу аныктоо куралдар, алдын ала даярдалган моделдер, окуу куралдары жана өндүрүштү жайылтуу жагынан алда канча алдыда. Ultralytics YOLO, MMDetection жана Detectron2 сыяктуу алкактар CNN детекторлорун кеңири колдоону сунуштайт. DETR экосистемасы тездик менен өсүп жатат, DINO, Co-DETR жана RT-DETR сыяктуу варианттар иштөө чектерин кеңейтүүдө, бирок өндүрүш инженерлери дагы эле жетилгендиги жана ылдамдыгы үчүн көп учурда CNNге негизделген чечимдерди колдонушат.
DETR объекттерди аныктоодогу бардык CNN компоненттерин толугу менен алмаштырат.
DETR баштапкы өзгөчөлүктөрдү алуу үчүн дагы эле CNN магистралын (адатта ResNet) колдонот. Трансформатор аныктоо башын жана божомолдоо механизмин гана алмаштырат. CNN магистралы чийки пикселдерди маанилүү өзгөчөлүк карталарына айландыруу үчүн маанилүү бойдон калууда.
DETRден улам салттуу CNN детекторлору эскирип калган.
CNNге негизделген детекторлор ылдамдыгы жана натыйжалуулугунан улам өндүрүштү жайылтууда үстөмдүк кылууда. YOLOv8, YOLOv9 жана RT-DETR (чындыгында эки ыкманы тең айкалыштырган) сыяктуу моделдер көптөгөн реалдуу колдонмолор үчүн заманбап бойдон калууда. DETR алмаштыруучу эмес, маанилүү альтернатива болуп саналат.
DETR эч кандай пост-процесстин кереги жок.
DETR NMS жана анкердик иштетүүнү жокко чыгарганы менен, ишенимдүүлүгү төмөн божомолдорду чыпкалоо үчүн дагы эле ишеним босогосун аныктоону талап кылат. Модель белгиленген сандагы божомолдорду чыгарат (адатта 100) жана босогодон жогору болгондор гана акыркы аныктоолор катары сакталат.
DETR ар дайым CNNге негизделген детекторлорго караганда такыраак.
Тактык көбүнчө конкреттүү вариантка жана колдонуу учуруна жараша болот. DETR жана анын мураскерлери атаандаштыкка жөндөмдүү mAP упайларына жетишсе да, көптөгөн CNN негизиндеги детекторлор белгилүү бир эталондордо аларга дал келет же ашып түшөт. Баштапкы DETR чындыгында Faster R-CNN менен салыштырмалуу жакшыраак иштеген, бирок анчалык деле жакшы эмес.
DETR реалдуу убакыттагы колдонмолор үчүн колдонулбайт.
Баштапкы DETR реалдуу убакыт режиминде колдонуу үчүн өтө жай болгону менен, RT-DETR (Real-Time DETR) сыяктуу жаңы варианттар ылдамдык үчүн атайын оптималдаштырылган жана атаандаштыкка жөндөмдүү кадр жыштыктарына жетише алат. Трансформаторго негизделген аныктоо үй-бүлөсү 2020-жылдан бери бир топ өнүктү.
Таза, баштан аяк түтүк керек болгондо жана узак окутуу убактысын камсыздай алганда, айрыкча глобалдык контекст жана окклюзияны башкаруу маанилүү болгон изилдөө сценарийлери үчүн DETRди тандаңыз. Реалдуу убакыттагы тыянакты, тезирээк окутуу циклдерин жана жетилген куралдардын жана алдын ала даярдалган моделдердин экосистемасына жетүүнү талап кылган өндүрүш системалары үчүн салттуу CNNге негизделген аныктоону тандаңыз.
CLIP киргизүүлөрү сүрөттөрдү жана текстти жалпы семантикалык мейкиндикте түшүнүү үчүн терең үйрөнүүнү колдонот, ал эми ачкыч сөздөргө негизделген сүрөттү издөө кол менен дайындалган тегдерди же айланасындагы текстти дал келтирүүгө негизделген. CLIP заманбап визуалдык издөө тапшырмалары үчүн алда канча чоң ийкемдүүлүктү жана тактыкты сунуштайт, ал эми ачкыч сөздөрдүн ыкмалары тар, жакшы тандалган контексттерде пайдалуу бойдон калууда.
DeepSeek V4 - бул кытайлык жасалма интеллект лабораториясынан чыккан ачык салмактагы чоң тил модели, ал эми GPT-4 классындагы моделдер OpenAIдин флагмандык жабык булактуу системаларына тиешелүү. Бул салыштыруу иштеп чыгуучуларга жана бизнеске акылдуулук менен тандоо жасоого жардам берүү үчүн алардын архитектурасын, мүмкүнчүлүктөрүн, баасын, жеткиликтүүлүгүн жана реалдуу дүйнөдөгү иштешин изилдейт.
Google издөө алгоритми миллиарддаган веб-баракчаларды машиналык окутууну жана жүздөгөн сигналдарды колдонуп рейтингге киргизет, ал эми жөнөкөйлөтүлгөн класстык моделдер жасалма интеллект концепцияларын үйрөтүүгө боло турган, жеткиликтүү алкактарга бөлөт. Бири өндүрүштө планетардык масштабда иштейт; экинчиси окуучулар үчүн жасалма интеллекттин чындыгында кандай иштээрин үйрөнүү үчүн педагогикалык көпүрө катары кызмат кылат.
Google Издөө – көпчүлүк адамдар күн сайын колдонгон кеңири веб индекстөө системасы, ал эми Knowledge Graph Search – бул түз жоопторду жана маалымат панелдерин колдогон Google'дун структураланган объект маалымат базасы. Алардын кандайча айырмаланарын түшүнүү эмне үчүн кээ бир сурамдар бай маалыматтарды кайтарарын, ал эми башкалары салттуу көк шилтемелерди кайтарарын түшүндүрүүгө жардам берет.
GPT стилиндеги архитектуралар бай контексттик түшүнүктү түзүү үчүн өзүнө көңүл бурган Трансформер декодер моделдерине таянат, ал эми Мамбага негизделген тил моделдери ырааттуулуктарды натыйжалуураак иштетүү үчүн структураланган абал мейкиндигин моделдөөнү колдонушат. Негизги компромисс - GPT стилиндеги системалардагы экспрессивдүүлүк жана ийкемдүүлүк, ал эми Мамбага негизделген моделдердеги масштабдуулук жана узак контексттик натыйжалуулук.
