Kvantlaşdırılmış kiçik modellər istehlakçı aparatlarında səmərəli işləmək üçün hazırlanmış sıxılmış süni intellekt sistemləridir, məlumat mərkəzi miqyaslı böyük dil modelləri isə minlərlə GPU tələb edən nəhəng sistemlərdir. Güzəşt əlçatanlıq və qiymətə, xam məntiq gücünə və dəqiqliyə qarşı yönəlib.
Sıxılmış süni intellekt modelləri, yaddaş və hesablama tələbləri azaldılmış noutbuklarda, telefonlarda və kənar cihazlarda işləmək üçün optimallaşdırılmışdır.
Minlərlə ixtisaslaşmış sürətləndirici klasterlərində təlim keçmiş və xidmət göstərən yüz milyardlarla parametrə malik kütləvi süni intellekt modelləri.
| Xüsusiyyət | Kvantlaşdırılmış Kiçik Modellər | Məlumat Mərkəzi Miqyaslı Böyük Dil Modelləri |
|---|---|---|
| Parametr Sayı | Adətən 1B-dən 14B-ə qədər parametrlər | 100B-dən 1T+ parametrlərinə qədər |
| Yaddaş Tələbləri | 4-16GB RAM (kvantlaşdırılmış) | GPU klasterlərində yüzlərlə GB |
| Avadanlıq tələb olunur | İstehlakçı GPU və ya hətta CPU | Minlərlə sürətləndiricisi olan məlumat mərkəzi |
| Sorğu üzrə nəticə çıxarma dəyəri | Əsasən pulsuzdur (yalnız elektrik enerjisi ilə) | Təchizatçıdan asılı olaraq 0.001 dollardan 0.10 dollara qədər + |
| Düşünmə Qabiliyyəti | Gündəlik işlər üçün yaxşıdır | Mürəkkəb çoxmərhələli problemlərdə güclüdür |
| Məxfilik | Məlumatlar cihazınızda qalır | Məlumatlar üçüncü tərəf serverlərinə göndərilir |
| Gecikmə | Qısa sorğular üçün demək olar ki, dərhal | Şəbəkə gediş-dönüş üstəgəl növbə müddəti |
| Oflayn Qabiliyyət | Yükləndikdən sonra tamamilə oflayndır | Daimi internet bağlantısı tələb olunur |
| Fərdiləşdirmə | Tək bir GPU-da asanlıqla tənzimləmək mümkündür | Əhəmiyyətli infrastruktur tələb edir |
Məlumat mərkəzi miqyaslı modellər MMLU, HumanEval və magistr səviyyəli mühakimə testləri kimi çətin etalonlarda kvantlaşdırılmış kiçik modelləri ardıcıl olaraq üstələyir. Bu boşluq ən çox çoxmərhələli məntiq, uzun kontekst anlayışı və ya ixtisaslaşmış sahə bilikləri tələb edən tapşırıqlarda özünü göstərir. Lakin, xülasə, əsas kodlaşdırma köməyi və təsadüfi söhbət kimi gündəlik tapşırıqlar üçün yaxşı kvantlaşdırılmış 7B və ya 13B modeli tez-tez təəccüblü dərəcədə sərhədə yaxın nəticələr verir. Kiçik bir modeli konkret istifadə vəziyyətinizdə dəqiqləşdirdiyiniz zaman performans fərqi daha da azalır.
Kvantlaşdırılmış modelin yerli olaraq işlədilməsi, əsasən, elektrik enerjisindən başqa bir şeyə başa gəlmir, böyük modellərə API girişi isə miqyasda sürətlə artır. Milyonlarla sənədi emal edən startap API çağırışlarına ayda minlərlə pul xərcləyə bilər, yerli kvantlaşdırılmış modeldə isə eyni iş yükü yalnız birdəfəlik aparat investisiyası tələb edir. Kiçik modellər, API xərclərinin qadağanedici olduğu bölgələrdə həvəskarlar, tələbələr və inkişaf etdiricilər üçün süni intellekt girişini demokratikləşdirir. Bu arada, böyük modellər, infrastrukturu özünüz idarə etmədən yüksək səviyyəli imkanlara ehtiyac duyduğunuz zaman yeganə praktik seçim olaraq qalır.
Yerli olaraq işləyən kvantlaşdırılmış modellər bütün sorğuları və çıxışları cihazınızda saxlayır ki, bu da həssas məlumatları emal edən səhiyyə, hüquq və müəssisə tətbiqləri üçün çox vacibdir. Məlumat mərkəzi modelləri, provayderlər ciddi məlumatların saxlanması siyasəti təklif etsələr belə, girişlərinizə üçüncü tərəfə etibar etməyi tələb edir. Maliyyə və hökumətdə tənzimlənən sənaye sahələri tez-tez uyğunluq səbəbləri ilə yerli süni intellektdən istifadə etməyi tələb edir və bu da kiçik modelləri yeganə mümkün yol halına gətirir. Bu məxfilik üstünlüyü, ehtimal ki, müəssisələrin imkanlar boşluğuna baxmayaraq yerli nəticə çıxarma infrastrukturuna investisiya qoymasının ən böyük səbəbidir.
Kvantlaşdırılmış modelin işə salınması Ollama, LM Studio və ya llama.cpp kimi alətlərdən istifadə etməklə dəqiqələr çəkir və DevOps komandası tələb olunmur. Sərhəd modelini API vasitəsilə yerləşdirmək də eyni dərəcədə sadədir, lakin onu fərdiləşdirmək və ya özünə yerləşdirmək ML mühəndisləri, MLOps boru kəmərləri və əhəmiyyətli kapital tələb edir. Kiçik modellər büdcəni sərf etmədən tez bir zamanda təkrarlamağınız lazım olan prototipləmə ssenarilərində parlayır. Böyük modellər, təchizatçının SLA və davamlı təkmilləşdirmələri ilə dəstəklənən etibarlı, istehsal səviyyəli performansa ehtiyac duyduğunuz zaman qazanır.
Noutbukda işləyən kvantlaşdırılmış 7B modeli çıxarış zamanı 30-80 vatt enerji sərf edə bilər, böyük bir modelə verilənlər mərkəzi sorğusu isə soyutma, şəbəkə və boş server yükünü nəzərə aldıqda daha çox enerji sərf edir. Araşdırmalar göstərir ki, tək bir böyük model sorğusu yerli kiçik model çıxarışından 10-100 dəfə çox enerji istifadə edə bilər. Yüksək sorğu həcmlərini emal edən təşkilatlar üçün karbon izi fərqi əhəmiyyətli dərəcədə artır. Kiçik modellər süni intellekt tətbiqi üçün daha davamlı bir yol təklif edir, baxmayaraq ki, istənilən modeli sıfırdan öyrətmək ölçüsündən asılı olmayaraq enerji tələb edir.
Kvantlaşdırma model keyfiyyətini pozur və nəticələri etibarsız edir.
GPTQ və AWQ kimi müasir kvantlaşdırma metodları orijinal modelin performansının çox hissəsini qoruyur və standart etalonlarda çox vaxt yalnız 1-3% itirir. Əksər praktik tətbiqlər üçün istifadəçilər diqqətlə sınaqdan keçirmədən kvantlaşdırılmış 4 bitlik model ilə onun tam dəqiqlikli versiyası arasında fərq qoya bilmirlər.
Böyük modellər hər tapşırıq üçün həmişə daha yaxşıdır.
Tədqiqatlar ardıcıl olaraq göstərir ki, dar, yaxşı müəyyən edilmiş tapşırıqlar üçün incə tənzimlənmiş kiçik model çox vaxt ümumi təyinatlı böyük modellə uyğun gəlir və ya onu üstələyir. "Böyük daha yaxşıdır" fərziyyəsi gecikməni, dəyəri və incə tənzimləmə yolu ilə ixtisaslaşma qabiliyyətini nəzərə aldıqda pozulur.
Kiçik modellər kodlaşdırma və ya texniki tapşırıqların öhdəsindən gələ bilmir.
CodeLlama 7B, DeepSeek-Coder 6.7B və Phi-3 Mini kimi modellər kvantlaşdırmadan sonra kodlaşdırma etalonlarında təsirli nəticələr göstərir. Ən çətin məsələlərdə GPT-4 ilə uyğun gəlməsələr də, gündəlik kodlaşdırma yardımı, kod icmalı və sənədləşdirmə tapşırıqlarını çox yaxşı yerinə yetirirlər.
Modelləri yerli olaraq işlətmək texniki olmayan istifadəçilər üçün çox mürəkkəbdir.
Ollama, LM Studio və Jan kimi alətlər lokal model yerləşdirməsini tətbiq quraşdırmaq və yükləmə düyməsini basmaq qədər sadə hala gətirib. Texniki təcrübəsi olmayan istifadəçi terminala toxunmadan kvantlaşdırılmış modelin beş dəqiqədən az müddətdə işlək vəziyyətdə olmasına imkan yarada bilər.
Böyük modellər daha təhlükəsizdir, çünki şirkətlər təhlükəsizliyə çoxlu investisiya qoyurlar.
Provayder tərəfindəki təhlükəsizlik tədbirləri həssas məlumatların xarici serverlərə göndərilməsinin əsas məxfilik riskini aradan qaldırmır. Həqiqətən həssas iş yükləri üçün kvantlaşdırılmış model ilə lokal nəticə, məlumatların pozulması, məhkəməyə çağırış vərəqəsinin açıqlanması və provayder siyasətindəki dəyişikliklər daxil olmaqla, bütün risk kateqoriyalarını aradan qaldırır.
Məxfilik, xərc, gecikmə və ya oflayn giriş ən vacib olduqda və tapşırıqlarınız adi dil anlayışı, kodlaşdırma yardımı və ya domenə xas dəqiq tənzimləmə ilə əlaqəli olduqda kvantlaşdırılmış kiçik modelləri seçin. Ən güclü əsaslandırmaya ehtiyacınız olduqda, infrastrukturu idarə edə bilmədikdə və ya həqiqətən sərhəd qabiliyyəti tələb edən problemlərlə qarşılaşdıqda məlumat mərkəzi miqyaslı böyük dil modellərinə müraciət edin. Bir çox istehsal sistemi indi hər ikisini birləşdirərək, yüksək həcmli sadə tapşırıqlar üçün kiçik modellərdən və mürəkkəb sorğular üçün ehtiyat kimi böyük modellərdən istifadə edir.
Açar söz axtarış motorları tərs indekslərdən istifadə edərək dəqiq terminləri uyğunlaşdırır, vektor oxşarlığı axtarışı isə yüksək ölçülü yerləşdirmələr vasitəsilə semantik cəhətdən əlaqəli məzmun tapır. Hər iki yanaşma müasir məlumat axtarışını gücləndirir, lakin istifadəçi niyyətini necə şərh etdikləri və nəticələri necə sıraladıqları baxımından əsaslı şəkildə fərqlənir.
Açıq çəkili modellər təlim keçmiş parametrlərini ictimaiyyətə açıq şəkildə yayımlayır və hər kəsin onları yükləməsinə, yoxlamasına və dəqiq tənzimləməsinə imkan verir. Qapalı mənbəli modellər çəkilərini gizli saxlayır və yalnız API və ya hostinq məhsulları vasitəsilə giriş təklif edir. Aralarındakı seçim, tərtibatçıların süni intellekt sistemlərini necə qurduğunu, yerləşdirdiyini və etibar etdiyini formalaşdırır.
Bu müqayisə açıq mənbəli süni intellekt ilə xüsusi mülkiyyətli süni intellekt arasındakı əsas fərqləri araşdırır, əlçatanlıq, fərdiləşdirmə, xərclər, dəstək, təhlükəsizlik, performans və real dünyada tətbiq hallarını əhatə edir, təşkilatların və tərtibatçıların hansı yanaşmanın onların məqsədlərinə və texniki imkanlarına uyğun gəldiyini müəyyən etməsinə kömək edir.
Açıq mənbəli LLM-lər tam kod girişi ilə özelleştirilebilir, özünəməxsus süni intellekt modelləri təklif edir, mülkiyyətçi LLM API-ləri isə istifadəyə əsaslanan qiymətlərlə bulud əsaslı son nöqtələr vasitəsilə idarə olunan, cilalanmış xidmətlər təqdim edir.
Adaptiv axtarış sistemin sorğuya əsasən hansı məlumatı və necə əldə etdiyini dinamik şəkildə tənzimləyir, statik axtarış boru kəmərləri isə kontekstdən asılı olmayaraq sabit qaydalara əməl edir. Hər ikisi müasir süni intellekt tətbiqlərini gücləndirir, lakin onlar elastiklik, qiymət və dəqiqlik baxımından kəskin şəkildə fərqlənir. Aralarında seçim iş yükünün mürəkkəbliyindən və büdcədən asılıdır.
