Kompresimi i modelit i zvogëlon rrjetet nervore për të funksionuar më shpejt në pajisje më të vogla, ndërsa zgjerimi i modelit i rrit ato për të trajtuar detyra më komplekse dhe për të përmirësuar saktësinë. Të dyja qasjet synojnë të njëjtin qëllim - performancë më të mirë të inteligjencës artificiale - por nga drejtime të kundërta për sa i përket madhësisë dhe efikasitetit.
Një grup teknikash që zvogëlojnë madhësinë dhe kërkesat llogaritëse të rrjeteve nervore duke ruajtur sa më shumë saktësi të jetë e mundur.
Një strategji që rrit madhësinë, parametrat ose kapacitetin e rrjeteve nervore për të rritur aftësinë e tyre të të mësuarit dhe performancën e detyrave.
| Veçori | Kompresimi i modelit | Zgjerimi i modelit |
|---|---|---|
| Qëllimi kryesor | Zvogëloni madhësinë e modelit dhe përshpejtoni nxjerrjen e përfundimeve | Rrit kapacitetin dhe përmirëso saktësinë |
| Teknikat e zakonshme | Shkurtimi, kuantizimi, distilimi i njohurive | Parametrat e shkallëzimit, MoE, arkitekturat më të thella |
| Efekti në Madhësinë e Modelit | E zvogëlon modelin ndjeshëm | Rrit modelin ndjeshëm |
| Kërkesat e Pajisjeve | Funksionon në harduer modest, duke përfshirë pajisjet mobile | Kërkon GPU të fuqishme ose grupe të shpërndara |
| Rasti tipik i përdorimit | Vendosja në Edge, aplikacionet mobile, nxjerrja e përfundimeve në kohë reale | Hulumtim, modele themelore, detyra komplekse arsyetimi |
| Ndikimi në Saktësinë | Një rënie e lehtë e saktësisë është e zakonshme, por shpesh e pranueshme | Përgjithësisht përmirëson saktësinë dhe aftësinë |
| Kostoja e Trajnimit | Më të ulëta, pasi modelet më të vogla stërviten më shpejt | Jashtëzakonisht të larta, shpesh miliona dollarë |
| Shpejtësia e Inferencës | Shumë më shpejt për shkak të më pak operacioneve | Më ngadalë për kërkesë nëse nuk është optimizuar |
Kompresimi dhe zgjerimi i modelit përfaqësojnë dy filozofi të kundërta në të nxënit e thellë. Kompresimi pyet: "Si mund ta bëjmë këtë model më të vogël pa humbur shumë performancë?" Zgjerimi bën pyetjen e kundërt: "Si mund ta bëjmë këtë model më të madh për të trajtuar probleme më të vështira?" Të dyja drejtimet kanë dhënë rezultate mbresëlënëse dhe laboratorët modernë të IA-së shpesh i përdorin ato së bashku - duke trajnuar së pari një model masiv, pastaj duke e kompresuar atë për vendosje.
Kompresimi mbështetet në metoda si shkurtimi (heqja e peshave të panevojshme), kuantizimi (zvogëlimi i saktësisë numerike) dhe distilimi i njohurive (trajnimi i një modeli të vogël studenti për të imituar një mësues më të madh). Zgjerimi, nga ana tjetër, përqendrohet në shtimin e më shumë shtresave, më shumë parametrave ose moduleve të specializuara si Përzierja e Ekspertëve. Çdo qasje ka mjetet e veta dhe zgjedhja varet shumë nga skenari i vendosjes.
Modelet e kompresuara janë projektuar për të funksionuar në mënyrë efikase në telefona, shfletues dhe pajisje IoT ku memoria dhe fuqia llogaritëse janë të kufizuara. Modelet e zgjeruara kërkojnë qendra të dhënash të mbushura me GPU të nivelit të lartë dhe konsumojnë sasi të mëdha energjie elektrike gjatë trajnimit. Një ekzekutim i vetëm trajnimi për një model në shkallë kufitare mund të kushtojë disa milion dollarë vetëm në llogaritje, ndërsa një model i kompresuar mund të trajnohet në një stacion të vetëm pune.
Kompresimi zakonisht sakrifikon një përqindje të vogël të saktësisë në këmbim të përmirësimeve dramatike në shpejtësi dhe madhësi. Zgjerimi tenton të përmirësojë saktësinë, por me koston e nxjerrjes së përfundimeve më të ngadalta dhe shpenzimeve më të larta operative. Është interesante se hulumtimet tregojnë se modelet shumë të mëdha ndonjëherë mund të kompresohen më agresivisht sesa ato më të vogla, sepse ato përmbajnë më shumë njohuri të tepërta që mund të hiqen në mënyrë të sigurt.
Kompresimi fuqizon produkte si njohja e të folurit në pajisje, aplikacionet e përkthimit në celular dhe klasifikimi i imazheve në kohë reale. Zgjerimi nxit sisteme të përparuara si modele të mëdha gjuhësore, gjeneratorë imazhesh dhe mjete kërkimore shkencore. Shumë kompani tani ndjekin një linjë "trajno të madhe, vendos të vogël" - duke përdorur zgjerimin gjatë zhvillimit dhe kompresimin për produktin përfundimtar që arrin tek përdoruesit.
Modelet më të mëdha janë gjithmonë më të mira se ato më të vogla.
Modelet më të mëdha shpesh performojnë më mirë në testet e referencës, por për shumë detyra të botës reale, një model më i vogël i kompresuar mirë mund t'i përputhet ose t'i tejkalojë ato. Madhësia e duhur varet nga problemi, të dhënat dhe kufizimet e vendosjes, në vend të numrit të parametrave të papërpunuar.
Kompresimi i modelit gjithmonë shkakton rënie të mëdha të saktësisë.
Teknikat moderne të kompresimit, si trajnimi i vetëdijshëm për kuantizimin dhe distilimi i njohurive, mund të ruajnë 95 deri në 99 përqind të saktësisë së modelit origjinal. Rënia aktuale varet nga sa agresivisht kompresohet modeli dhe cila metodë përdoret.
Modelet e kompresuara janë më pak të sigurta se modelet me madhësi të plotë.
Kompresimi nuk e bën në mënyrë të natyrshme një model më shumë ose më pak të prekshëm ndaj sulmeve kundërshtare. Siguria varet nga të dhënat e trajnimit, arkitektura dhe teknikat mbrojtëse të aplikuara, jo nga madhësia e modelit.
Zgjerimi i modelit ka të bëjë vetëm me shtimin e më shumë parametrave.
Zgjerimi përfshin gjithashtu të dhëna më të mira, trajnim më të gjatë, arkitektura të përmirësuara dhe objektiva trajnimi më të zgjuara. Thjesht vendosja e më shumë parametrave në një problem pa të dhëna cilësore shpesh çon në ulje të fitimeve.
Duhet të zgjidhni midis kompresimit dhe zgjerimit.
Shumica e sistemeve të inteligjencës artificiale në prodhim i përdorin të dyja. Ekipet trajnojnë modele të mëdha për të shtyrë kufirin e saktësisë, pastaj i kompresojnë ato në mënyrë që produkti përfundimtar të jetë i shpejtë dhe i përballueshëm për t'u përdorur në shkallë të gjerë.
Zgjidhni kompresimin e modelit kur keni nevojë për inteligjencë artificiale të shpejtë dhe efikase që funksionon në pajisje të kufizuara ose duhet të përgjigjet në kohë reale. Zgjidhni zgjerimin e modelit kur trajtoni probleme komplekse ku saktësia dhe aftësia kanë më shumë rëndësi se kostoja, ose kur ndërtoni modele themelore që më vonë do të kompresohen për shpërndarje.
Agregimi i preferencave kombinon preferenca të shumta individuale në vendime kolektive, ndërsa modelimi i parashikimit individual parashikon sjelljen personale duke përdorur të mësuarit automatik në të dhënat e një përdoruesi të vetëm. Të dyja shërbejnë për qëllime të dallueshme në sistemet e inteligjencës artificiale, nga motorët e rekomandimeve deri te platformat demokratike të votimit.
Ky krahasim arkitektonik vë në kontrast inxhinierinë deterministe të Agjentëve të Bazuar në Rregulla me natyrën adaptive të të dhënave të Agjentëve të Bazuar në Mësim, duke vlerësuar zbatueshmërinë e tyre në botën reale, kufijtë e shkallëzimit dhe performancën në kushte pasigurie.
Ky udhëzues i detajuar shqyrton ndryshimet strukturore dhe operacionale midis agjentëve autonomë dhe sistemeve të automatizimit të skriptuar. Ndërsa mjetet e skriptuara ofrojnë parashikueshmëri të pakrahasueshme për rrjedha pune të ngurta dhe përsëritëse, agjentët inteligjentë modernë shfrytëzojnë arsyetimin kognitiv për të lundruar në mënyrë të pavarur në të dhëna të ndryshueshme, pengesa teknike të papritura dhe peizazhe të dhënash shumë komplekse dhe të pastrukturuara.
Agjentët autonomë të IA-së veprojnë në mënyrë të pavarur duke planifikuar, arsyetuar dhe ekzekutuar detyra shumë-hapëshe me ndërhyrje minimale njerëzore, ndërsa sistemet e IA-së të bazuara në shpejtësi u përgjigjen udhëzimeve individuale të përdoruesit, një ndërveprim në të njëjtën kohë. Dallimi kryesor qëndron në agjenci: agjentët ndjekin qëllimet nëpër seanca, ndërsa sistemet e shpejtësisë presin për drejtim.
Agjentët bisedorë përqendrohen në dialogun natyror dhe ndërveprimet e bazuara në tekst, ndërsa agjentët që përdorin mjete zgjerojnë aftësitë e IA-së duke thirrur funksione dhe API të jashtme. Të dy përfaqësojnë qasje të dallueshme ndaj sistemeve autonome të IA-së, me modelet bisedore që shkëlqejnë në komunikim dhe agjentët që përdorin mjete të specializuar në ekzekutimin e detyrave në botën reale.
