Stiskanje modelov skrči nevronske mreže, da delujejo hitreje na manjših napravah, medtem ko jih razširitev modelov poveča, da lahko obvladujejo bolj kompleksne naloge in izboljšajo natančnost. Oba pristopa se lotevata istega cilja – boljše delovanja umetne inteligence – vendar iz nasprotnih smeri glede velikosti in učinkovitosti.
Nabor tehnik, ki zmanjšujejo velikost in računske zahteve nevronskih mrež, hkrati pa ohranjajo čim večjo natančnost.
Strategija, ki poveča velikost, parametre ali zmogljivost nevronskih mrež za izboljšanje njihove sposobnosti učenja in uspešnosti pri nalogah.
| Funkcija | Stiskanje modela | Razširitev modela |
|---|---|---|
| Primarni cilj | Zmanjšajte velikost modela in pospešite sklepanje | Povečajte zmogljivost in izboljšajte natančnost |
| Pogoste tehnike | Obrezovanje, kvantizacija, destilacija znanja | Parametri skaliranja, MoE, globlje arhitekture |
| Vpliv na velikost modela | Znatno skrči model | Znatno poveča model |
| Zahteve strojne opreme | Deluje na skromni strojni opremi, vključno z mobilnimi napravami | Zahteva zmogljive grafične procesorje ali porazdeljene gruče |
| Tipičen primer uporabe | Uvajanje na robu omrežja, mobilne aplikacije, sklepanje v realnem času | Raziskave, osnovni modeli, kompleksne naloge sklepanja |
| Vpliv na natančnost | Rahlo zmanjšanje natančnosti je pogosto, vendar je pogosto sprejemljivo | Na splošno izboljša natančnost in zmogljivost |
| Stroški usposabljanja | Nižje, saj manjši modeli trenirajo hitreje | Izjemno visoke, pogosto milijone dolarjev |
| Hitrost sklepanja | Veliko hitreje zaradi manjšega števila operacij | Počasneje na zahtevo, razen če je optimizirano |
Stiskanje in razširjanje modelov predstavljata dve nasprotujoči si filozofiji globokega učenja. Stiskanje sprašuje: »Kako lahko ta model zmanjšamo, ne da bi pri tem izgubili preveč zmogljivosti?« Razširjanje pa postavlja nasprotno vprašanje: »Kako lahko ta model povečamo, da bo lahko obravnaval težje probleme?« Obe smeri sta prinesli impresivne rezultate in sodobni laboratoriji za umetno inteligenco ju pogosto uporabljajo skupaj – najprej naučijo ogromen model, nato pa ga stisnejo za uvajanje.
Stiskanje se opira na metode, kot so obrezovanje (odstranjevanje nepotrebnih uteži), kvantizacija (zmanjšanje numerične natančnosti) in destilacija znanja (učenje majhnega modela učenca za posnemanje večjega učitelja). Razširjanje pa se osredotoča na dodajanje več plasti, več parametrov ali specializiranih modulov, kot je Mešanica strokovnjakov. Vsak pristop ima svoj nabor orodij, izbira pa je močno odvisna od scenarija uvajanja.
Stisnjeni modeli so zasnovani za učinkovito delovanje na telefonih, brskalnikih in napravah interneta stvari, kjer sta pomnilnik in računski viri omejeni. Razširjeni modeli zahtevajo podatkovne centre, polne vrhunskih grafičnih procesorjev, in med učenjem porabijo ogromne količine električne energije. En sam učni zagon za model na mejnem nivoju lahko stane več milijonov dolarjev samo v računskih virih, medtem ko se stisnjen model lahko uči na eni sami delovni postaji.
Stiskanje običajno žrtvuje majhen odstotek natančnosti v zameno za dramatično povečanje hitrosti in velikosti. Razširitev ponavadi izboljša natančnost, vendar za ceno počasnejšega sklepanja in višjih operativnih stroškov. Zanimivo je, da raziskave kažejo, da je mogoče zelo velike modele včasih stisniti bolj agresivno kot manjše, ker vsebujejo več odvečnega znanja, ki ga je mogoče varno odstraniti.
Stiskanje poganja izdelke, kot so prepoznavanje govora v napravi, aplikacije za mobilno prevajanje in klasifikacija slik v realnem času. Razširjanje poganja najsodobnejše sisteme, kot so veliki jezikovni modeli, generatorji slik in orodja za znanstvene raziskave. Številna podjetja zdaj sledijo postopku »usposobi veliko, uvedi majhno« – uporabljajo razširjanje med razvojem in stiskanje za končni izdelek, ki doseže uporabnike.
Večji modeli so vedno boljši od manjših.
Večji modeli se pogosto bolje obnesejo pri primerjalnih testih, vendar se lahko pri mnogih nalogah iz resničnega sveta dobro stisnjen manjši model izenači z njimi ali jih celo preseže. Prava velikost je odvisna od problema, podatkov in omejitev uvajanja, ne pa od surovega števila parametrov.
Stiskanje modela vedno povzroči večje padce natančnosti.
Sodobne tehnike stiskanja, kot sta učenje s kvantizacijo in destilacija znanja, lahko ohranijo od 95 do 99 odstotkov natančnosti izvirnega modela. Dejanski padec je odvisen od tega, kako agresivno je model stisnjen in katera metoda je uporabljena.
Stisnjeni modeli so manj varni kot modeli polne velikosti.
Stiskanje samo po sebi ne naredi modela bolj ali manj ranljivega za napade nasprotnikov. Varnost je odvisna od učnih podatkov, arhitekture in uporabljenih obrambnih tehnik, ne od velikosti modela.
Razširitev modela pomeni le dodajanje več parametrov.
Širitev vključuje tudi boljše podatke, daljše usposabljanje, izboljšane arhitekture in pametnejše cilje usposabljanja. Preprosto dodajanje več parametrov problemu brez kakovostnih podatkov pogosto vodi do zmanjšanja donosov.
Izbrati morate med stiskanjem in raztezanjem.
Večina produkcijskih sistemov umetne inteligence uporablja oboje. Ekipe usposobijo velike modele, da bi dosegle najvišjo natančnost, nato pa jih stisnejo, tako da je končni izdelek hiter in cenovno dostopen za uporabo v velikem obsegu.
Stiskanje modelov izberite, ko potrebujete hitro in učinkovito umetno inteligenco, ki deluje na omejeni strojni opremi ali se mora odzivati v realnem času. Razširitev modela izberite pri reševanju kompleksnih problemov, kjer sta natančnost in zmogljivost pomembnejši od stroškov, ali pri gradnji temeljnih modelov, ki bodo kasneje stisnjeni za distribucijo.
A/B testiranje pri izdajah vsebin vključuje uvajanje različic za različne segmente občinstva in merjenje uspešnosti, medtem ko enkratne izdaje vsebin hkrati vsem ponudijo eno različico. Vsak pristop ustreza različnim ciljem, pri čemer A/B testiranje daje prednost optimizaciji, ki temelji na podatkih, enkratne izdaje pa dajejo prednost hitrosti in preprostosti.
A/B testiranje pri streženju modelov usmerja promet med konkurenčnimi različicami modelov za merjenje učinkovitosti v resničnem svetu, medtem ko uvedba enega modela vsem uporabnikom dostavi en model. Ekipe izbirajo med njimi glede na toleranco tveganja, količino prometa in potrebo po statistični potrditvi pred popolno uvedbo.
Agenti umetne inteligence so avtonomni, ciljno usmerjeni sistemi, ki lahko načrtujejo, sklepajo in izvajajo naloge v različnih orodjih, medtem ko tradicionalne spletne aplikacije sledijo fiksnim delovnim procesom, ki jih vodijo uporabniki. Primerjava poudarja premik od statičnih vmesnikov k prilagodljivim, kontekstualno ozaveščenim sistemom, ki lahko proaktivno pomagajo uporabnikom, avtomatizirajo odločitve in dinamično komunicirajo med več storitvami.
Ta arhitekturna primerjava primerja deterministično inženirstvo agentov, ki temeljijo na pravilih, s prilagodljivo naravo učnih agentov, ki temeljijo na podatkih, ter ocenjuje njihovo uporabnost v resničnem svetu, omejitve skaliranja in delovanje v negotovosti.
Agentni sistemi umetne inteligence lahko načrtujejo, izvajajo večstopenjske naloge in avtonomno komunicirajo z zunanjimi orodji, medtem ko tradicionalni klepetalni roboti LLM primarno ustvarjajo besedilne odgovore v enem samem pogovornem koraku. Ključna razlika je v agenciji: agentni sistemi delujejo na podlagi ciljev, medtem ko klepetalni roboti reagirajo na pozive.
