Kvantuoti maži modeliai yra suspaustos dirbtinio intelekto sistemos, sukurtos efektyviai veikti vartotojų įrangoje, o duomenų centro masto dideli kalbos modeliai yra didžiulės sistemos, kurioms reikia tūkstančių GPU. Kompromisas daugiausia susijęs su prieinamumu ir kaina, palyginti su neapdoroto mąstymo galia ir tikslumu.
Suspausti dirbtinio intelekto modeliai, optimizuoti veikti nešiojamuosiuose kompiuteriuose, telefonuose ir periferiniuose įrenginiuose su sumažintais atminties ir skaičiavimo reikalavimais.
Masyvūs dirbtinio intelekto modeliai su šimtais milijardų parametrų, apmokytų ir aptarnaujamų tūkstančių specializuotų greitintuvų klasteriuose.
| Funkcija | Kvantuoti maži modeliai | Duomenų centro masto didelių kalbų modeliai |
|---|---|---|
| Parametrų skaičius | Įprastai 1B–14B parametrai | 100B iki 1T+ parametrai |
| Atminties reikalavimai | 4–16 GB RAM (kvantinė) | Šimtai GB skirtinguose GPU klasteriuose |
| Reikalinga aparatinė įranga | Vartotojui skirtas GPU arba net CPU | Duomenų centras su tūkstančiais akseleratorių |
| Išvados kaina už užklausą | Iš esmės nemokama (tik elektra) | 0,001–0,10 USD ir daugiau, priklausomai nuo tiekėjo |
| Samprotavimo gebėjimai | Tinka įprastiems darbams | Stiprus sprendžiant sudėtingas daugiapakopes problemas |
| Privatumas | Duomenys lieka jūsų įrenginyje | Duomenys siunčiami į trečiųjų šalių serverius |
| Vėlavimas | Beveik akimirksniu, kai reikia trumpų raginimų | Tinklo kelionė pirmyn ir atgal plius eilės laikas |
| Galimybė dirbti neprisijungus | Visiškai neprisijungus, kai atsisiunčiama | Reikalingas nuolatinis interneto ryšys |
| Pritaikymas | Lengva tiksliai suderinti naudojant vieną GPU | Reikalinga didelė infrastruktūra |
Duomenų centrų masto modeliai nuolat pranoksta kvantinius mažus modelius sudėtinguose testuose, tokiuose kaip MMLU, HumanEval ir magistrantūros lygio mąstymo testai. Skirtumas labiausiai matomas atliekant užduotis, kurioms reikalinga daugiapakopė logika, ilgalaikis konteksto supratimas arba specializuotos srities žinios. Tačiau atliekant kasdienes užduotis, tokias kaip apibendrinimas, pagrindinė programavimo pagalba ir neformalus pokalbis, gerai kvantuotas 7B arba 13B modelis dažnai pateikia rezultatus, kurie atrodo stebėtinai artimi riboms. Našumo skirtumas dar labiau sumažėja, kai mažas modelis tiksliai derinamas prie konkretaus naudojimo atvejo.
Vietinis kvantinio modelio paleidimas iš esmės nekainuoja nieko, išskyrus elektrą, o API prieiga prie didelių modelių greitai kaupiasi dideliu mastu. Startuolis, apdorojantis milijonus dokumentų, gali kas mėnesį išleisti tūkstančius API iškvietimams, o tas pats darbo krūvis vietiniame kvantiniame modelyje reikalauja tik vienkartinės investicijos į aparatinę įrangą. Maži modeliai demokratizuoja dirbtinio intelekto prieigą mėgėjams, studentams ir kūrėjams regionuose, kur API kainos yra pernelyg didelės. Tuo tarpu dideli modeliai išlieka vienintele praktiška galimybe, kai reikia aukščiausio lygio pajėgumų, nevaldant infrastruktūros patiems.
Vietiniai kvantiniai modeliai visus raginimus ir išvestis saugo jūsų įrenginyje, o tai labai svarbu sveikatos priežiūros, teisinėms ir įmonių programoms, tvarkančioms jautrius duomenis. Duomenų centrų modeliams reikia pasitikėti trečiąja šalimi dėl jūsų įvesties duomenų, net jei teikėjai taiko griežtą duomenų saugojimo politiką. Reguliuojami finansų ir valdžios sektoriai dažnai reikalauja, kad dirbtinis intelektas būtų naudojamas vietoje dėl atitikties reikalavimų, todėl maži modeliai yra vienintelis tinkamas kelias. Šis privatumo pranašumas tikriausiai yra pagrindinė priežastis, kodėl įmonės investuoja į vietinę išvadų infrastruktūrą, nepaisant pajėgumų trūkumo.
Kvantuoto modelio paleidimas trunka vos kelias minutes naudojant tokius įrankius kaip „Ollama“, „LM Studio“ arba „llama.cpp“, ir nereikia „DevOps“ komandos. Diegimas per API yra toks pat paprastas, tačiau norint jį pritaikyti arba savarankiškai talpinti, reikia mašininio mokymosi inžinierių, MLOps kanalų ir didelio kapitalo. Maži modeliai puikiai tinka prototipų kūrimo scenarijuose, kur reikia greitai iteruoti neišeikvojant biudžeto. Dideli modeliai laimi, kai reikia patikimo, gamybinės klasės našumo, pagrįsto tiekėjo SLA ir nuolatiniais tobulinimais.
Kvantuotas 7B modelis, veikiantis nešiojamajame kompiuteryje, išvadų generavimo metu gali sunaudoti 30–80 vatų, o duomenų centro užklausa dideliam modeliui sunaudoja daug daugiau energijos, atsižvelgiant į aušinimą, tinklo darbą ir serverio neveiklumo apkrovą. Tyrimai rodo, kad viena didelė modelio užklausa gali sunaudoti 10–100 kartų daugiau energijos nei vietinė mažo modelio užklausa. Organizacijoms, apdorojančioms didelius užklausų kiekius, anglies pėdsako skirtumas tampa reikšmingas. Maži modeliai siūlo tvaresnį kelią dirbtinio intelekto diegimui, nors bet kokio modelio mokymas nuo nulio išlieka daug energijos reikalaujantis, nepriklausomai nuo dydžio.
Kvantavimas sugadina modelio kokybę ir padaro rezultatus nepatikimus.
Šiuolaikiniai kvantavimo metodai, tokie kaip GPTQ ir AWQ, išsaugo didžiąją dalį originalaus modelio našumo, dažnai prarasdami tik 1–3 % standartiniuose etalonuose. Daugumoje praktinių pritaikymų vartotojai negali atskirti kvantuoto 4 bitų modelio nuo jo pilno tikslumo versijos be kruopštaus testavimo.
Didesni modeliai visada geriau tinka kiekvienai užduočiai.
Tyrimai nuolat rodo, kad siauroms, tiksliai apibrėžtoms užduotims tiksliai suderintas mažas modelis dažnai atitinka arba pranoksta bendrosios paskirties didelį modelį. Prielaida „kuo didesnis, tuo geriau“ sugenda, kai atsižvelgiama į delsą, sąnaudas ir galimybę specializuotis atliekant tikslų derinimą.
Maži modeliai negali susidoroti su kodavimu ar techninėmis užduotimis.
Tokie modeliai kaip „CodeLlama 7B“, „DeepSeek-Coder 6.7B“ ir „Phi-3 Mini“ įspūdingai atlieka kodavimo testus po kvantavimo. Nors jie gali neprilygti GPT-4 sudėtingiausioms problemoms spręsti, jie puikiai susidoroja su kasdienėmis kodavimo pagalbos, kodo peržiūros ir dokumentavimo užduotimis.
Vietinis modelių paleidimas yra pernelyg sudėtingas netechniniams vartotojams.
Tokios priemonės kaip „Ollama“, „LM Studio“ ir „Jan“ pavertė vietinio modelio diegimą tokiu paprastu, kad tereikia įdiegti programėlę ir spustelėti „Atsisiųsti“. Net ir netechninis vartotojas gali paleisti kvantuotą modelį per mažiau nei penkias minutes, net neprisiliesdamas prie terminalo.
Dideli modeliai yra saugesni, nes įmonės daug investuoja į saugumą.
Teikėjo pusės saugos priemonės nepašalina esminės privatumo rizikos, kylančios siunčiant jautrius duomenis į išorinius serverius. Tikrai jautrių darbo krūvių atveju vietinis nustatymas naudojant kvantinį modelį pašalina ištisas rizikos kategorijas, įskaitant duomenų nutekėjimą, šaukimų į teismą atskleidimą ir teikėjo politikos pakeitimus.
Rinkitės kvantinius mažus modelius, kai svarbiausia yra privatumas, kaina, delsa arba prieiga neprisijungus, o jūsų užduotys patenka į įprastą kalbos supratimą, kodavimo pagalbą arba konkrečios srities tikslinimą. Naudokite duomenų centro masto didelius kalbos modelius, kai jums reikia kuo stipresnio argumentavimo, negalite valdyti infrastruktūros arba susiduriate su problemomis, kurioms iš tikrųjų reikia nestandartinių pajėgumų. Daugelyje gamybinių sistemų dabar derinami abu šie būdai, naudojant mažus modelius didelės apimties paprastoms užduotims ir didelius modelius kaip atsarginį variantą sudėtingoms užklausoms.
„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.
„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.
„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.
„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.
A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.
