CLIP və ALIGN kimi şəkil-mətn uyğunlaşdırma modelləri, sıfır vuruşlu ötürülməyə imkan verən kütləvi qoşalaşmış məlumat dəstləri üzərində təlim keçərək birgə vizual-linqvistik təmsilçilikləri öyrənir. Müstəqil modallıq modelləri şəkilləri və mətni ayrıca emal edir və tez-tez çarpaz modallıq əsaslandırması olmadan ixtisaslaşmış tək modallıq tapşırıqlarında üstün olurlar.
Neyron şəbəkələri, ortaq yerləşdirmə məkanında paylaşılan vizual və mətn təsvirlərini öyrənmək üçün qoşalaşmış şəkil başlığı məlumatları üzərində təlim keçib.
Süni intellekt sistemləri, ikisi arasında ortaq çarpaz modal təmsilçiliyi öyrənmədən, şəkilləri və ya mətni təcrid olunmuş şəkildə idarə etmək üçün hazırlanmışdır.
| Xüsusiyyət | Şəkil-Mətn Uyğunlaşdırma Modelləri | Müstəqil Modallıq Modelləri |
|---|---|---|
| Əsas Təlim Məqsədi | Kontrastiv şəkil-mətn uyğunluğu | Tək modallıq tapşırıq itkisi (təsnifat, dil modelləşdirməsi) |
| Təlim Məlumatları Tələbləri | Yüz milyonlarla milyardlarla cütləşmiş şəkil-mətn nümunələri | Bir modallıq daxilində böyük miqyaslı etiketlənməmiş və ya etiketlənmiş məlumatlar |
| Sıfır Atış Qabiliyyətləri | Mətn sorğuları vasitəsilə görünməyən kateqoriyalara güclü sıfır vuruşlu transfer | Təlim zamanı görünən kateqoriyalar və ya tapşırıqlarla məhdudlaşır |
| Memarlıq yanaşması | Paylaşılan yerləşdirmə sahəsinə proyeksiya edən ikili kodlayıcılar | Tək giriş növü üçün ixtisaslaşmış tək kodlayıcı |
| Çarpaz Modal Anlama | Görmə və dil arasında yerli birgə düşüncə | Modalları birləşdirmək üçün xarici birləşmə və ya boru kəməri tələb olunur |
| Hesablama Xərci | Kütləvi qoşalaşmış verilənlər dəstləri və böyük toplu ölçülər səbəbindən yüksək | Ümumiyyətlə, xüsusən də unimodal incə tənzimləmə üçün daha aşağıdır |
| Ən Yaxşı İstifadə Halları | Şəkil axtarışı, sıfır-şot təsnifatı, vizual axtarış | Xüsusi vizual tapşırıqlar və ya təmiz mətn generasiyası və düşüncə tərzi |
| Nümunə Modellər | CLIP, ALIGN, SigLIP, Florence, BLIP | ResNet, ViT, GPT-4, LLaMA, BERT |
Şəkil-mətn uyğunlaşdırma modelləri vizual anlayışların və onların linqvistik təsvirlərinin əsas semantik strukturu paylaşdığı fikri ətrafında qurulur. Yüz milyonlarla şəkil başlığı cütlüyü üzərində təlim keçərək, hər iki girişi semantik cəhətdən əlaqəli elementlərin bir araya gəldiyi ortaq yerləşdirmə məkanına xəritələşdirməyi öyrənirlər. Müstəqil modallıq modelləri əks istiqamətdə hərəkət edir və bütün imkanlarını bir növ girişi mənimsəməyə yönəldir. Konvolyusional neyron şəbəkəsi kimi yalnız görmə modelləri iyerarxik vizual xüsusiyyətləri öyrənir, dil modeli isə insan mətninin statistik nümunələrini öyrənir. Təlim zamanı heç biri digər modallığı anlamağa çalışmır.
Hizalama modellərinin həqiqətən parlaq olduğu yer sıfır-şot ümumiləşdirməsidir. Şəkilləri və mətni eyni məkanda kodlaşdırdıqları üçün, model təlim zamanı heç vaxt həmin sinfi görməsə belə, sadəcə "qızıl retriverin şəkli" kimi mətn etiketi təqdim etməklə və oxşarlığı ölçməklə təsviri təsnif edə bilərsiniz. Müstəqil modallıq modelləri bunu təbii olaraq edə bilməz. ImageNet-də təlim keçmiş ResNet yalnız min təlim sinfini bilir və dil modeli piksellər haqqında heç nə bilmir. Onları yeni tapşırıqlara tətbiq etmək üçün adətən əlavə etiketlənmiş məlumatlara və dəqiq tənzimləməyə ehtiyacınız var.
Müstəqil modallıq modelləri tez-tez öz doğma sahələrindəki etalonlarda qalib gəlir. DETR kimi xüsusi obyekt aşkarlama modeli və ya SAM kimi seqmentləşdirmə şəbəkəsi, xüsusilə məkan anlayışı üçün optimallaşdırıldığı üçün sıx proqnozlaşdırma tapşırıqlarında ümumi uyğunlaşdırma modelindən daha yaxşı nəticə göstərə bilər. Eynilə, böyük dil modelləri hələ də təmiz mətn mühakimə etmə, kodlaşdırma və uzun forma generasiyasında üstünlük təşkil edir. Uyğunlaşdırma modelləri, vizual və linqvistik anlayışı vahid sistemdə birləşdirmək qabiliyyəti üçün bu zirvə tək modallıq performansının bir hissəsini dəyişdirir.
Sıfırdan uyğunlaşdırma modelini öyrətmək baha başa gəlir. CLIP-in orijinal təlim prosesi həftələrlə böyük hesablamalar aparırdı və milyardlarla cütə qədər miqyaslandırma bu xərcləri yalnız artırır. Müstəqil modallıq modelləri, xüsusən də əvvəlcədən öyrədilmiş onurğalardan istifadə edərkən daha ucuz şəkildə öyrədilə bilər. Lakin, öyrədildikdən sonra uyğunlaşdırma modelləri, hər bir kodlayıcıdan tək bir irəli keçid təkrar istifadə edilə bilən yerləşdirmələr yaratdığından, axtarış və təsnifat üçün nəticə çıxarmaqda olduqca səmərəlidir. Müstəqil modellər tez-tez hər yeni tətbiq üçün tapşırıqlara xas başlıqlara və ya dəqiq tənzimləməyə ehtiyac duyurlar.
Uyğunlaşdırma modelləri, şəkil axtarış motorları, vizualları mətn təsvirləri ilə uyğunlaşdıran məzmun moderasiya sistemləri və müasir multimodal çatbotların arxasındakı vizual enkoderlər daxil olmaqla, artan tətbiq ekosistemini gücləndirir. Müstəqil modallıq modelləri istehsal süni intellekt boru kəmərlərinin, OCR, üz tanıma, sənəd anlama və miqyasda mətn generasiyasının iş atı olaraq qalır. Getdikcə iki yanaşma bir-birinə yaxınlaşır: GPT-4V və Gemini kimi sistemlər daxildə müstəqil görmə və dil komponentlərindən istifadə edir, lakin onları birgə təlim vasitəsilə uyğunlaşdırır və bu paradiqmalar arasındakı xətti qarışdırır.
Hizalama modelləri təsvirləri insanlar kimi başa düşə bilər.
Bu modellər vizual xüsusiyyətlər və mətn arasında statistik əlaqələri öyrənir, əsaslandırılmış vizual anlayışı deyil. Onlar təsvirləri təsvirlərlə uyğunlaşdıra bilər, lakin insanların təcəssüm etdirdiyi təcrübə vasitəsilə inkişaf etdirdiyi obyektlər, səbəbiyyət və ya fiziki mühakimə haqqında həqiqi anlayışa malik deyillər.
Müstəqil modallıq modelləri multimodal süni intellekt dövründə köhnəlmişdir.
Köhnəlmiş deyil, müstəqil modellər əksər istehsal süni intellekt sistemlərinin əsasını təşkil edir. Onlar tez-tez ixtisaslaşmış tapşırıqlarda multimodal modellərdən daha yaxşı nəticə göstərir və daha böyük multimodal arxitekturaların komponentləri kimi xidmət edirlər.
CLIP və oxşar modellər xüsusi şəkil təsnifatçılarını tamamilə əvəz edə bilər.
Uyğunlaşdırma modelləri təsirli sıfır vuruşlu rahatlıq təklif etsə də, incə tənzimlənmiş ixtisaslaşmış təsnifatçılar hələ də bir çox etalonlarda, xüsusən də incə kateqoriyalarda, tibbi görüntüləmədə və ya incə vizual fərqlərə malik sahələrdə onları üstələyir.
Uyğunlaşdırma modelləri çox etiketlənmiş məlumatlara ehtiyac duymur, çünki onlar subtitrlərdən öyrənirlər.
Onlara çoxlu miqdarda zəif qoşalaşmış məlumatlar lazımdır ki, bu da fərqli bir nəzarət növüdür. Yüz milyonlarla təmiz şəkil-mətn cütlüyünü seçmək özü də böyük bir mühəndislik və etik bir problemdir.
Daha böyük hizalama modelləri həmişə daha yaxşıdır.
Miqyaslaşdırma müəyyən dərəcədə kömək edir, lakin gəlir azalır və SigLIP kimi kiçik modellər göstərib ki, təlim fəndləri və məlumat keyfiyyəti daha aşağı qiymətə kobud qüvvə miqyası ilə uyğunlaşa və ya onu üstələyə bilər.
Tətbiqiniz vizual və dil arasında çevik, tez idarə olunan qarşılıqlı əlaqə tələb etdikdə, məsələn, sıfır-şot təsnifatı, görüntü axtarışı və ya multimodal köməkçilərin qurulması kimi hallarda şəkil-mətn uyğunlaşdırma modellərini seçin. Yaxşı müəyyən edilmiş tək modallıq tapşırığında ən yüksək performansa ehtiyacınız olduqda, məhdud cütləşdirilmiş təlim məlumatlarınız olduqda və ya çarpaz modal təlim xərcləri olmadan yüngül ixtisaslaşmış sistemlər yerləşdirmək istədikdə müstəqil modallıq modellərini seçin.
Açar söz axtarış motorları tərs indekslərdən istifadə edərək dəqiq terminləri uyğunlaşdırır, vektor oxşarlığı axtarışı isə yüksək ölçülü yerləşdirmələr vasitəsilə semantik cəhətdən əlaqəli məzmun tapır. Hər iki yanaşma müasir məlumat axtarışını gücləndirir, lakin istifadəçi niyyətini necə şərh etdikləri və nəticələri necə sıraladıqları baxımından əsaslı şəkildə fərqlənir.
Açıq çəkili modellər təlim keçmiş parametrlərini ictimaiyyətə açıq şəkildə yayımlayır və hər kəsin onları yükləməsinə, yoxlamasına və dəqiq tənzimləməsinə imkan verir. Qapalı mənbəli modellər çəkilərini gizli saxlayır və yalnız API və ya hostinq məhsulları vasitəsilə giriş təklif edir. Aralarındakı seçim, tərtibatçıların süni intellekt sistemlərini necə qurduğunu, yerləşdirdiyini və etibar etdiyini formalaşdırır.
Bu müqayisə açıq mənbəli süni intellekt ilə xüsusi mülkiyyətli süni intellekt arasındakı əsas fərqləri araşdırır, əlçatanlıq, fərdiləşdirmə, xərclər, dəstək, təhlükəsizlik, performans və real dünyada tətbiq hallarını əhatə edir, təşkilatların və tərtibatçıların hansı yanaşmanın onların məqsədlərinə və texniki imkanlarına uyğun gəldiyini müəyyən etməsinə kömək edir.
Açıq mənbəli LLM-lər tam kod girişi ilə özelleştirilebilir, özünəməxsus süni intellekt modelləri təklif edir, mülkiyyətçi LLM API-ləri isə istifadəyə əsaslanan qiymətlərlə bulud əsaslı son nöqtələr vasitəsilə idarə olunan, cilalanmış xidmətlər təqdim edir.
Adaptiv axtarış sistemin sorğuya əsasən hansı məlumatı və necə əldə etdiyini dinamik şəkildə tənzimləyir, statik axtarış boru kəmərləri isə kontekstdən asılı olmayaraq sabit qaydalara əməl edir. Hər ikisi müasir süni intellekt tətbiqlərini gücləndirir, lakin onlar elastiklik, qiymət və dəqiqlik baxımından kəskin şəkildə fərqlənir. Aralarında seçim iş yükünün mürəkkəbliyindən və büdcədən asılıdır.
