Diqqət mexanizmləri müasir süni intellektlə həm kompüter görmə, həm də təbii dil emalı sahəsində əlaqə qurur, lakin onlar fərqli məqsədlərə xidmət edir və fərqli yollar boyunca inkişaf edir. Görmə diqqəti modellərin müvafiq görüntü bölgələrinə diqqət yetirməsinə kömək edir, NLP diqqəti isə mətn ardıcıllığında söz əlaqələrini anlamağa imkan verir.
Görmə modellərinə şəkillər və videolardakı vacib məkan bölgələrinə və ya xüsusiyyətlərə seçici şəkildə diqqət yetirməyə imkan verən üsullar.
Ardıcıl mətn məlumatlarını emal edərkən dil modellərinə müxtəlif sözlərin və işarələrin əhəmiyyətini qiymətləndirməyə imkan verən metodlar.
| Xüsusiyyət | Görmədə Diqqət Mexanizmləri | NLP-də diqqət |
|---|---|---|
| Əsas Giriş Növü | Şəkillər, video çərçivələr və ya vizual yamalar | Mətn işarələri, sözlər və ya alt söz vahidləri |
| Diqqət Dənəvərliyi | Məkan bölgələri, yamalar və ya xüsusiyyət kanalları | Ardıcıllıqlar üzrə Token-Token əlaqələri |
| Mənşə Memarlığı | Vision Transformator (ViT), DETR, SE-Net | Orijinal Transformator kodlayıcı-dekoder (Vaswani və digərləri, 2017) |
| Hesablama Mürəkkəbliyi | Təsvir qətnaməsi ilə kvadratik; yamaq əsaslı metodlar xərcləri azaldır | Ardıcıllıq uzunluğuna malik kvadratik; seyrək diqqət variantları mövcuddur |
| Tipik İstifadə Halları | Şəkil təsnifatı, obyekt aşkarlanması, seqmentləşdirmə, video anlayışı | Tərcümə, mətn yaratmaq, sual-cavab, ümumiləşdirmə |
| Maskalama Strategiyası | Adətən səbəb-nəticə maskası olmur; iki istiqamətli diqqət yayınır | Dekoderlər üçün səbəb-nəticə maskalanması; kodlayıcılar üçün iki istiqamətli |
| Mövqe Məlumatı | Məkan quruluşu üçün 2D mövqe yerləşdirmələri | Token sifarişi üçün 1D mövqe yerləşdirmələri |
| Məlumat Tələbləri | ImageNet və ya JFT-300M kimi genişmiqyaslı şəkil məlumat dəstləri | Common Crawl və ya Wikipedia kimi böyük mətn korpusları |
Görmə diqqəti, modellərə təsvirin hara baxacaqlarına qərar verməyə kömək edir və əsasən müəyyən bir tapşırıq üçün ən uyğun məlumatı daşıyan məkan bölgələrini vurğulayır. Digər tərəfdən, NLP diqqəti, sözlərin cümlə daxilində və ya sənəd boyunca bir-biri ilə necə əlaqəli olduğunu müəyyən edir və məsafədən asılı olmayaraq semantik asılılıqları ələ keçirir. Hər ikisi eyni fundamental ağırlıqlı əhəmiyyət ideyasını bölüşür, lakin onların fəaliyyət göstərdiyi strukturlar əhəmiyyətli dərəcədə fərqlənir.
NLP diqqəti ilk olaraq müasir formasında ortaya çıxdı və 2017-ci ildə nəşr olunan Transformer məqaləsində özünə diqqətin dil anlayışının əsasını təşkil etdiyi bildirildi. Görmə diqqəti bu NLP nailiyyətlərindən çox şey götürdü və Vision Transformers 2020-ci ildə təmiz diqqətə əsaslanan arxitekturaların konvolyusiya şəbəkələri ilə uyğunlaşa və ya üstələyə biləcəyini nümayiş etdirdi. O vaxtdan bəri, iki sahə çarpaz tozlanmaya davam etdi və çarpaz diqqət kimi üsullar artıq multimodal modellərdə görmə və dili körpüləşdirir.
Hər ikisi kvadratik mürəkkəblik problemləri ilə üzləşir, lakin miqyas fərqlidir. NLP modelləri yüzlərlə ilə yüz minlərlə tokenə qədər ardıcıllıqla işləyir, görmə modelləri isə yüksək qətnamədə minlərlə yamaq ehtiva edə bilən şəkilləri idarə etməlidir. Görmə tədqiqatçıları Swin Transformer-in pəncərəli diqqəti kimi səmərəli variantlar hazırlamışlar, NLP isə daha uzun kontekstləri idarə etmək üçün seyrək və xətti diqqət metodları hazırlamışdır.
Əsas fərq diqqətin necə axmasıdır. NLP dekoder modelləri səbəb-nəticə maskalanmasından istifadə edir, buna görə də hər bir işarə yalnız əvvəlki işarələri görür ki, bu da avtoreqressiv mətn generasiyası üçün vacibdir. Görmə modelləri adətən iki istiqamətli diqqətdən istifadə edir, çünki bir görüntünü anlamaq üçün soldan sağa sıra tələb olunmur. Bəzi görmə tapşırıqları, xüsusən də təlim zamanı giriş hissələrinin gizlədildiyi maskalı avtoenkoderlərdə maskalı diqqətdən istifadə edir.
Mətnin təbii ardıcıllıq sırası olduğundan, NLP modelə hər bir tokenin ardıcıllıqda harada yerləşdiyini bildirmək üçün 1D mövqe yerləşdirmələrindən istifadə edir. Görmə, şəkillərin hündürlük və en ölçülərinə malik olduğundan, yamalar arasında məkan əlaqələrini qorumaq üçün 2D mövqe yerləşdirmələri tələb edir. Bu fərq, hər bir sahənin yerləşdirmə sxemlərini necə dizayn etdiyinə və modellərin müxtəlif giriş ölçülərinə necə ümumiləşdirildiyinə təsir göstərir.
Görmə və NLP diqqəti arasındakı sərhəd xeyli dərəcədə bulanmışdır. CLIP, DALL-E və Flamingo kimi modellər vizual və mətn təsvirlərini birləşdirmək üçün çarpaz diqqətdən istifadə edir və şəkil başlıqları, vizual sual cavabları və mətndən şəkilə generasiya kimi tapşırıqları yerinə yetirməyə imkan verir. Bu multimodal sistemlər diqqət mexanizmlərinin olduqca çevik olduğunu və müxtəlif məlumat növlərini tək bir arxitektura daxilində birləşdirə biləcəyini nümayiş etdirir.
Görmə və NLP-də diqqət mexanizmləri tamamilə fərqli texnologiyalardır.
Onlar sorğu-açar-dəyər qarşılıqlı təsirlərinə əsaslanan ağırlıqlı cəmlərin hesablanmasının eyni riyazi əsasını bölüşürlər. Fərqlər əsasən girişlərin necə qurulduğunda və hansı mövqe məlumatlarının əlavə edildiyindədir, əsas mexanizmin özündə deyil.
Vision Transformers hətta kiçik məlumat dəstləri ilə də yaxşı işləyir.
Daxili induktiv qərəzlərə malik CNN-lərdən fərqli olaraq, ViT-lər konvolyusiya yanaşmalarından daha yaxşı nəticə göstərmək üçün adətən böyük məlumat dəstləri (çox vaxt yüz milyonlarla şəkil) tələb edir. Kiçik məlumat dəstlərində güclü nizamlama və ya əvvəlcədən təlim tətbiq edilmədikcə CNN-lər tez-tez qalib gəlirlər.
NLP-də diqqət, modelin dili həqiqətən başa düşdüyü deməkdir.
Diqqət, giriş məlumatlarını ölçmək üçün hesablama mexanizmidir, anlama zəmanəti deyil. Böyük dil modelləri, məntiqi səhvlər buraxarkən, faktları halüsinasiya edərkən və ya sadə məntiqi tapşırıqlarda uğursuz olarkən, səlis mətn yarada bilər.
Diqqət, konvolyusiya və təkrarlanan şəbəkələri tamamilə əvəz etməkdir.
Hibrid arxitekturalar populyar olaraq qalır və çox vaxt təmiz diqqət modellərindən daha yaxşı nəticə göstərir. Konvolyusiya təbəqələri hələ də bir çox müasir görmə sistemlərində görünür və bəzi NLP modelləri diqqəti digər yanaşmalarla qarışdırmaqdan faydalanır.
Diqqət xəritələri modelin nə düşündüyünü birbaşa göstərir.
Diqqət çəkiləri həmişə model davranışının etibarlı izahı deyil. Tədqiqatlar göstərir ki, diqqət paylanması mütləq xüsusiyyətin əhəmiyyəti ilə əlaqəli deyil və onları şərh etmək ehtiyatlılıq tələb edir.
Tapşırığınız şəkillərdə və ya videolarda məkan əlaqələrini anlamağı əhatə etdikdə, xüsusən də böyük məlumat dəstləriniz olduqda və incə lokalizasiyaya ehtiyacınız olduqda, görmə diqqətini seçin. Kontekst anlayışı, generasiyası və ya tərcüməsi tələb edən ardıcıl mətn məlumatları ilə işləyərkən NLP diqqətini seçin. Multimodal layihələr üçün hər ikisini çarpaz diqqət vasitəsilə birləşdirmək çox vaxt ən yaxşı nəticələr verir.
Açar söz axtarış motorları tərs indekslərdən istifadə edərək dəqiq terminləri uyğunlaşdırır, vektor oxşarlığı axtarışı isə yüksək ölçülü yerləşdirmələr vasitəsilə semantik cəhətdən əlaqəli məzmun tapır. Hər iki yanaşma müasir məlumat axtarışını gücləndirir, lakin istifadəçi niyyətini necə şərh etdikləri və nəticələri necə sıraladıqları baxımından əsaslı şəkildə fərqlənir.
Açıq çəkili modellər təlim keçmiş parametrlərini ictimaiyyətə açıq şəkildə yayımlayır və hər kəsin onları yükləməsinə, yoxlamasına və dəqiq tənzimləməsinə imkan verir. Qapalı mənbəli modellər çəkilərini gizli saxlayır və yalnız API və ya hostinq məhsulları vasitəsilə giriş təklif edir. Aralarındakı seçim, tərtibatçıların süni intellekt sistemlərini necə qurduğunu, yerləşdirdiyini və etibar etdiyini formalaşdırır.
Bu müqayisə açıq mənbəli süni intellekt ilə xüsusi mülkiyyətli süni intellekt arasındakı əsas fərqləri araşdırır, əlçatanlıq, fərdiləşdirmə, xərclər, dəstək, təhlükəsizlik, performans və real dünyada tətbiq hallarını əhatə edir, təşkilatların və tərtibatçıların hansı yanaşmanın onların məqsədlərinə və texniki imkanlarına uyğun gəldiyini müəyyən etməsinə kömək edir.
Açıq mənbəli LLM-lər tam kod girişi ilə özelleştirilebilir, özünəməxsus süni intellekt modelləri təklif edir, mülkiyyətçi LLM API-ləri isə istifadəyə əsaslanan qiymətlərlə bulud əsaslı son nöqtələr vasitəsilə idarə olunan, cilalanmış xidmətlər təqdim edir.
Adaptiv axtarış sistemin sorğuya əsasən hansı məlumatı və necə əldə etdiyini dinamik şəkildə tənzimləyir, statik axtarış boru kəmərləri isə kontekstdən asılı olmayaraq sabit qaydalara əməl edir. Hər ikisi müasir süni intellekt tətbiqlərini gücləndirir, lakin onlar elastiklik, qiymət və dəqiqlik baxımından kəskin şəkildə fərqlənir. Aralarında seçim iş yükünün mürəkkəbliyindən və büdcədən asılıdır.
