Нөлдүк кадр менен сүрөттү издөө семантикалык сүрөттөмөлөрдү колдонуу менен окутуу учурунда эч качан көрүлбөгөн класстардан визуалдык мазмунду аныктайт, ал эми көзөмөлдөнгөн классификация системалары тааныган ар бир категория үчүн белгиленген мисалдарды талап кылат. Экөө тең компьютердик көрүү тапшырмаларын аткарышат, бирок билимди кантип алуу жана жаңы киргизүүлөрдү иштетүү боюнча түп-тамырынан бери айырмаланат.
Белгиленген окутуу мисалдарынын ордуна семантикалык киргизүүлөрдү колдонуп, көрүнбөгөн категорияларга дал келген сүрөттөрдү тапкан компьютердик көрүү ыкмасы.
Кол менен белгиленген окутуу маалыматтарынын чоң көлөмүн колдонуп, сүрөттөрдү алдын ала аныкталган класстарга бөлгөн салттуу машиналык окутуу моделдери.
| Мүмкүнчүлүк | Нөлдүк кадр менен сүрөттү алуу | Көзөмөлдөнгөн классификация системалары |
|---|---|---|
| Окутуу маалыматтарына болгон талап | Семантикалык сүрөттөмөлөр гана, көрүнбөгөн класстар үчүн белгиленген сүрөттөрдүн кереги жок | Ар бир класс үчүн чоң көлөмдөгү белгиленген сүрөттөр талап кылынат |
| Роман категорияларын иштетүү | Окутуу учурунда эч качан кездешпеген сабактарды тааный алат | Окутуу бөлүштүрүлүшүнөн тышкары категорияларды иштетүү мүмкүн эмес |
| Билим булагы | Атрибуттар, тексттик киргизүүлөр же билим графиктери сыяктуу кошумча маалыматтар | Белгиленген сүрөт мисалдарынан түздөн-түз үйрөнүлгөн үлгүлөр |
| Көрүлгөн класстар боюнча типтүү тактык | Жалпысынан көзөмөлдөнгөн кесиптештерге караганда төмөн | Стандарттык эталондор боюнча эң заманбап көрсөткүчтөр |
| Жаңы класстарга масштабдоо мүмкүнчүлүгү | Семантикалык сүрөттөмөлөрдү гана берүү менен жаңы категорияларды кошуңуз | Жаңы окутуу сүрөттөрүн чогултууну жана белгилөөнү талап кылат |
| Жалпы архитектуралар | Кош коддогуч тармактар, CLIP стилиндеги моделдер, интеграциялоочу тегиздөө алкактары | ResNet, EfficientNet, Vision Transformers, VGG варианттары |
| Баалоо маалыматтар топтому | SUN атрибуту, aPY, Атрибуттары бар жаныбарлар, CUB-200 | ImageNet, CIFAR-10/100, COCO, MNIST |
| Жайгаштыруу татаалдыгы | Семантикалык метадайындар инфраструктурасынын зарылдыгынан улам жогору | Жетилген фреймворктор жана алдын ала даярдалган текшерүү пункттары менен төмөнүрөөк |
Эң негизги айырмачылык ар бир системанын визуалдык мазмунду таануу жөндөмүнө кантип ээ болгондугунда. Көзөмөлдөнгөн классификация түздөн-түз белгиленген сүрөт мисалдарынан үйрөнөт, пикселдик маалыматтарды алдын ала аныкталган категорияларга байланыштырган статистикалык үлгүлөрдү түзөт. Нөлдүк кадр менен издөө таптакыр башка жолду тандап, визуалдык өзгөчөлүктөрдү семантикалык сүрөттөөлөр менен байланыштырууну үйрөнөт, ошондуктан ал эч качан визуалдык жактан кездешпеген класстарга жалпылай алат. Бул нөлдүк кадр менен ыкмаларды өзгөчө белгилөө кымбат болгон же категория мейкиндиги ачык болгон чөйрөлөрдө жагымдуу кылат.
Көзөмөлдөнгөн системалар окутуу маалыматтарында бар класстар боюнча нөлдүк-шот методдорунан дайыма ашып түшөт, анткени аларда үйрөнүүгө түз визуалдык мисалдар бар. Бирок, бул артыкчылык чындап эле жаңы категорияларга туш болгондо жоголот. Нөлдүк-шот менен издөө таптакыр жаңы түшүнүктөрдү иштетүү ийкемдүүлүгүнүн ордуна белгилүү класстар боюнча жогорку тактыкты курмандыкка чалат. CLIP сыяктуу заманбап фундаменталдык моделдер бул айырмачылыкты бир топ кыскартып, ири масштабдуу сүрөт-текстти алдын ала окутуу аркылуу атаандаштыкка жөндөмдүү нөлдүк-шот аткарууга жетишти.
Көзөмөлдөнгөн классификация өндүрүштөгү кемчиликтерди аныктоо, көзөмөлдөнгөн маалымат топтомдорундагы түрлөрдү аныктоо же белгиленген маалыматтар бар болгон медициналык сүрөткө тартуу сыяктуу так аныкталган, жабык дүйнөдөгү сценарийлерде эң сонун иштейт. Нөлдүк издөө визуалдык издөө системалары, чоң каталогдордон мазмунга негизделген сүрөттөрдү издөө жана колдонуучулар система эч качан ачык окутулбаган түшүнүктөрдү издей турган тиркемелер сыяктуу ачык сөздүк шарттарында нөлдүк издөө жаркырап турат. Көптөгөн реалдуу дүйнөдөгү системалар азыр максималдуу камтуу үчүн эки ыкманы тең айкалыштырат.
Көзөмөлдөнгөн системага жаңы категория кошуу жүздөгөн же миңдеген белгиленген сүрөттөрдү чогултууну жана моделди кайра даярдоону билдирет, бул кымбат жана көп убакытты талап кылган процесс. Нөлдүк кадр менен издөө операторлорго жөн гана семантикалык сүрөттөмөлөрдү жазуу же булактарды издөө аркылуу жаңы класстарды киргизүүгө мүмкүндүк берет, бул таануу мүмкүнчүлүктөрүн кеңейтүүнүн операциялык чыгымдарын кескин азайтат. Бул айырмачылык жаңы продукт категориялары, жаңы коркунучтар же өнүгүп жаткан терминдер үзгүлтүксүз пайда болгон тез өзгөрүп жаткан чөйрөлөрдө маанилүү болуп калат.
Көзөмөлдөнгөн классификациялоо, адатта, сүрөттөрдү softmax катмарлары аркылуу класстын ыктымалдуулуктарына түз байланыштырган бир мунаралуу архитектураларды колдонот. Нөлдүк кадр менен издөө, адатта, сүрөттөрдү да, класстын сүрөттөмөлөрүн да окшоштукту өлчөөгө мүмкүн болгон жалпы киргизүү мейкиндигине проекциялаган кош коддогуч же сиам стилиндеги дизайндарды колдонот. Көрүү тилинин моделдериндеги акыркы жетишкендиктер бул чектерди бүдөмүктөт, бирдиктүү архитектуралар табигый тилдин көрсөтмөлөрү аркылуу классификациялоого да, издөөгө да жөндөмдүү.
Нөлдүк окутуу моделдин эч кандай окутуусу жок экенин билдирет.
Нөлдүк атуучу моделдер дагы эле көрүнгөн класстар жана семантикалык ассоциациялар боюнча олуттуу окутуудан өтүшөт. "Нөлдүк атуучу" белгиси эч кандай окуу процессинин жоктугуна эмес, тыянак чыгаруу учурунда көрүнбөгөн категорияларга жалпылоо жөндөмүнө тиешелүү.
Көзөмөлдөнгөн классификаторлор ар дайым нөлдүк системалардан ашып түшөт.
Бул окутуу топтомунда бар категорияларга гана тиешелүү. Көзөмөлдөнгөн моделдер эч качан кездешпеген жаңы класстарда алардын тактыгы нөлгө чейин төмөндөйт, ал эми нөлдүк системалар семантикалык которуу аркылуу маңыздуу божомолдорду бере алат.
Нөлдүк кадр менен издөө кандайдыр бир маалыматтарды даярдоонун зарылдыгын жокко чыгарат.
Көрүнбөгөн класстар үчүн белгиленген сүрөттөр талап кылынбаса да, нөлдүк сүрөттүү системалар жогорку сапаттагы семантикалык сүрөттөөлөргө, атрибуттардын аннотацияларына же тексттик киргизүүлөргө абдан көз каранды. Бул кошумча маалыматты тандоонун өзү эле олуттуу күч-аракетти талап кылышы мүмкүн.
Көбүрөөк окутуу маалыматтары көзөмөлдөнгөн классификаторлорду чексиз жакшыртат.
Кошумча маалыматтардан алынган өндүрүмдүүлүктүн жогорулашы кирешенин азайышынан жана акырында туруктуу абалга алып келет. Этикетканын сапаты, класстын балансы жана маалыматтардын ар түрдүүлүгү сыяктуу факторлор көбүнчө чийки сандан да маанилүү, айрыкча ызы-чуу этикеткаларга ашыкча дал келүүгө жакын терең окутуу моделдери үчүн.
Бул эки ыкма иш жүзүндө бири-бирине карама-каршы келет.
Көптөгөн өндүрүш системалары эки парадигманы тең айкалыштырат, жогорку ишенимдүүлүккө ээ белгилүү категориялар үчүн көзөмөлдөнгөн классификаторлорду колдонушат, ал эми узун же жаңы сурамдар үчүн нөлдүк издөөгө кайрылышат. Гибриддик архитектуралар көбүнчө өзүнчө колдонулган эки ыкмадан тең ашып түшөт.
Эгерде сизде көп белгиленген маалыматтар, белгиленген категориялар топтому болсо жана белгилүү класстар боюнча максималдуу тактык керек болсо, көзөмөлдөнгөн классификацияны тандаңыз. Эгерде сиздин категория мейкиндигиңиз ачык болсо, белгиленген маалыматтар аз болсо же сизге кайра окутуусуз жаңы түшүнүктөрдү таануу үчүн ийкемдүүлүк керек болсо, нөлдүк кадр менен сүрөттү издөөнү тандаңыз. Көптөгөн өндүрүш системалары тактык менен ыңгайлашууну тең салмактоо үчүн эки ыкманы айкалыштыруудан пайда көрөт.
CLIP киргизүүлөрү сүрөттөрдү жана текстти жалпы семантикалык мейкиндикте түшүнүү үчүн терең үйрөнүүнү колдонот, ал эми ачкыч сөздөргө негизделген сүрөттү издөө кол менен дайындалган тегдерди же айланасындагы текстти дал келтирүүгө негизделген. CLIP заманбап визуалдык издөө тапшырмалары үчүн алда канча чоң ийкемдүүлүктү жана тактыкты сунуштайт, ал эми ачкыч сөздөрдүн ыкмалары тар, жакшы тандалган контексттерде пайдалуу бойдон калууда.
DeepSeek V4 - бул кытайлык жасалма интеллект лабораториясынан чыккан ачык салмактагы чоң тил модели, ал эми GPT-4 классындагы моделдер OpenAIдин флагмандык жабык булактуу системаларына тиешелүү. Бул салыштыруу иштеп чыгуучуларга жана бизнеске акылдуулук менен тандоо жасоого жардам берүү үчүн алардын архитектурасын, мүмкүнчүлүктөрүн, баасын, жеткиликтүүлүгүн жана реалдуу дүйнөдөгү иштешин изилдейт.
Google издөө алгоритми миллиарддаган веб-баракчаларды машиналык окутууну жана жүздөгөн сигналдарды колдонуп рейтингге киргизет, ал эми жөнөкөйлөтүлгөн класстык моделдер жасалма интеллект концепцияларын үйрөтүүгө боло турган, жеткиликтүү алкактарга бөлөт. Бири өндүрүштө планетардык масштабда иштейт; экинчиси окуучулар үчүн жасалма интеллекттин чындыгында кандай иштээрин үйрөнүү үчүн педагогикалык көпүрө катары кызмат кылат.
Google Издөө – көпчүлүк адамдар күн сайын колдонгон кеңири веб индекстөө системасы, ал эми Knowledge Graph Search – бул түз жоопторду жана маалымат панелдерин колдогон Google'дун структураланган объект маалымат базасы. Алардын кандайча айырмаланарын түшүнүү эмне үчүн кээ бир сурамдар бай маалыматтарды кайтарарын, ал эми башкалары салттуу көк шилтемелерди кайтарарын түшүндүрүүгө жардам берет.
GPT стилиндеги архитектуралар бай контексттик түшүнүктү түзүү үчүн өзүнө көңүл бурган Трансформер декодер моделдерине таянат, ал эми Мамбага негизделген тил моделдери ырааттуулуктарды натыйжалуураак иштетүү үчүн структураланган абал мейкиндигин моделдөөнү колдонушат. Негизги компромисс - GPT стилиндеги системалардагы экспрессивдүүлүк жана ийкемдүүлүк, ал эми Мамбага негизделген моделдердеги масштабдуулук жана узак контексттик натыйжалуулук.
