Efikasiteti i rrjetit përqendrohet në shpejtësinë me të cilën lëvizin të dhënat midis GPU-ve, serverave dhe hapësirës së ruajtjes gjatë trajnimit të shpërndarë, ndërsa efikasiteti i llogaritjes mat se sa efektivisht burimet harduerike si GPU-të dhe TPU-të kryejnë operacionet aktuale matematikore. Të dyja janë kritike për shkallëzimin e ngarkesave të punës moderne të inteligjencës artificiale, por ato adresojnë pengesa thelbësisht të ndryshme në infrastrukturën e të mësuarit automatik.
Optimizimi i lëvizjes së të dhënave dhe gjerësisë së brezit të komunikimit në të gjithë harduerin e shpërndarë për të minimizuar kohën e trajnimit dhe vonesën.
Maksimizimi i shfrytëzimit të procesorëve si GPU-të dhe TPU-të për të kryer operacione matricore dhe trajnim modeli sa më shpejt të jetë e mundur.
| Veçori | Efikasiteti i Rrjetit në Sistemet ML | Efikasiteti i llogaritjes në sistemet ML |
|---|---|---|
| Vështirësia Kryesore e Adresuar | Lëvizja e të dhënave midis nyjeve dhe brenda nyjeve | Shfrytëzimi i procesorit dhe rendimenti aritmetik |
| Komponenti Kryesor i Hardware-it | NIC-e, switch-e, NVLink, strukturë InfiniBand | GPU-të, TPU-të, bërthamat tensor, memoria HBM |
| Teknikat e zakonshme të optimizimit | Kompresimi i gradientit, mbivendosja e komunikimit-llogaritjes, rrugëzimi i vetëdijshëm për topologjinë | Precizion i përzier, bashkim bërthame, FlashAttention, kuantizim |
| Metrika tipike e performancës | Shfrytëzimi i gjerësisë së brezit, raporti komunikim-llogaritje | Përdorimi i modelit FLOP (MFU), tokena për sekondë |
| Ndikimi në Trajnimin e Shpërndarë | Përcakton efikasitetin e shkallëzimit në shumë nyje | Përcakton kohën e trajnimit për hap në secilën nyje |
| Kostoja e joefikasitetit | GPU-të joaktive që presin të dhëna, shpenzime të kota të grumbullit | Stërvitje më e ngadaltë, energji më e lartë për çdo shenjë të prodhuar |
| Rëndësia për Konkluzionin | Prioritet më i ulët përveç nëse shërbehet në shkallë masive | Kritik për vonesën, rendimentin dhe koston për kërkesë |
| Shembull i Modalitetit të Dështimit | Hapi i reduktimit të plotë zgjat më shumë se kalimi përpara | GPU-ja është në 30% të shfrytëzimit për shkak të bllokimit të memories |
Efikasiteti i rrjetit synon lëvizjen e të dhënave midis pajisjeve, qoftë kjo që GPU-të komunikojnë përmes një rrjeti InfiniBand apo përmes autobusit NVLink të një serveri të vetëm. Në të kundërt, efikasiteti i llogaritjes përqendrohet në atë që ndodh brenda procesorit pasi të dhënat kanë mbërritur. Në praktikë, punët e trajnimit të shpërndarë hasin së pari një nga këto mure dhe identifikojnë se cili është ndryshimi midis një klasteri të akorduar mirë dhe një të kushtueshëm.
Përmirësimi i efikasitetit të rrjetit do të thotë investim në NIC më të shpejta, çelsës me rreze më të lartë dhe struktura që mbështesin RDMA. Përmirësimet e efikasitetit të llogaritjes vijnë nga zgjedhja e GPU-ve me më shumë FLOPS, bandwidth më të gjerë të memories dhe mbështetje më të mirë për formatet me precizion të ulët si FP8 dhe INT4. Të dyja janë të lidhura thellësisht: një grumbull me GPU-të më të shpejta në botë ende stërvitet ngadalë nëse rrjeti nuk mund t'i furnizojë ato.
Nga ana e rrjetit, inxhinierët mbështeten në kompresimin gradient, reduktimin e të gjitha të dhënave në rrjet dhe komunikimin mbivendosës me kalime prapa. Nga ana e llogaritjes, paketa e mjeteve përfshin FlashAttention, bërthama të shkrira, trajnim me precizion të përzier dhe pirgje kompajlerësh si XLA dhe Triton. Të dyja fushat përfitojnë nga mjetet e profilizimit si NVIDIA Nsight, por metrikat që ato nxjerrin në pah janë mjaft të ndryshme.
Modelet kufitare, si modelet e gjuhëve të mëdha, trajnohen nëpër mijëra përshpejtues, kështu që asnjëri dimension nuk mund të injorohet. Një punë që është e lidhur me llogaritjet shpërdoron para për silikon joaktiv, ndërsa një punë e lidhur me rrjetin shpërdoron para për harduer që është i zënë, por në pritje. Sistemet më efikase i trajtojnë të dyja si një problem të vetëm optimizimi, duke balancuar së bashku bandwidth-in, latencën dhe FLOPS-et.
Gjatë trajnimit, si efikasiteti i rrjetit ashtu edhe ai i llogaritjes janë po aq të rëndësishme, sepse ngarkesa e punës është e shpërndarë dhe kërkon shumë komunikim. Gjatë nxjerrjes së përfundimeve, efikasiteti i llogaritjes zakonisht dominon, sepse shumica e kërkesave shërbehen nga një pajisje e vetme ose një grup i vogël. Efikasiteti i rrjetit është ende i rëndësishëm për shërbimin në shkallë të gjerë, por rrallë bëhet kufizimi kryesor, përveç nëse trafiku është ekstrem.
Blerja e GPU-ve më të shpejta zgjidh automatikisht të gjitha pengesat në trajnim.
Nëse rrjeti nuk mund t'u dërgojë të dhëna këtyre GPU-ve mjaftueshëm shpejt, ato do të qëndrojnë pa punë. Shumë grupe të mëdha trajnimi janë të lidhura me rrjetin dhe jo me llogaritjet, prandaj kompanitë investojnë shumë në strukturat InfiniBand dhe NVLink.
Efikasiteti i rrjetit ka rëndësi vetëm për modelet e mëdha.
Edhe modelet modeste përfitojnë nga komunikimi efikas kur trajnimi shpërndahet nëpër GPU ose nyje të shumta. Raporti komunikim-llogaritje varet nga madhësia e modelit, madhësia e grupit dhe strategjia e paralelizmit, jo vetëm nga numri i parametrave.
Efikasiteti i llogaritjes ka të bëjë thjesht me FLOPS.
FLOPS-et kanë rëndësi, por bandwidth-i i memories, mbingarkesa e nisjes së kernel-it dhe sjellja e cache-it shpesh kufizojnë rendimentin në botën reale. Një GPU me FLOPS të larta teorike mund të funksionojë ende me Shfrytëzim të ulët të FLOP-eve të modelit nëse qasjet në memorie nuk janë të bashkuara.
Pasi një model trajnohet, efikasiteti i rrjetit nuk ka më rëndësi.
Inferenca në shkallë të gjerë që shërben në shumë kopje ende varet nga performanca e rrjetit për balancimin e ngarkesës, ruajtjen në memorje dhe paralelizmin e modelit të copëtuar. Efikasiteti i rrjetit mbetet i rëndësishëm për çdo sistem prodhimi që shërben trafik në shkallë të gjerë.
Preciziteti i përzier gjithmonë përmirëson efikasitetin e llogaritjes.
Preciziteti i përzier ndihmon kur ngarkesa e punës është e lidhur me llogaritjen dhe hardueri e mbështet mirë formatin me precizion më të ulët. Për operacionet e lidhura me memorien, shpejtësia mund të jetë më e vogël se sa pritej, dhe disa modele kërkojnë trajtim të kujdesshëm numerik për të shmangur humbjen e saktësisë.
Zgjidhni të optimizoni efikasitetin e rrjetit kur shkallëzoni trajnimin në shumë nyje ose kur hapat kolektivë të komunikimit dominojnë kohën e ekzekutimit. Përqendrohuni në efikasitetin e llogaritjes kur ofroni përfundime, trajnoni modele më të vogla në një pajisje të vetme ose kur profilizimi tregon se vetë GPU është nën-shfrytëzuar. Ekipet më të mira të infrastrukturës ML i trajtojnë të dyja si një problem të unifikuar në vend që të zgjedhin njërën mbi tjetrën.
Agregimi i telemetrisë konsolidon metrikat, regjistrat dhe gjurmët nga shumë burime në një tubacion të unifikuar, ndërsa regjistrimi i të dhënave me një burim të vetëm përqendrohet në kapjen dhe analizimin e të dhënave nga një origjinë specifike. Zgjedhja e duhur varet nga kompleksiteti i sistemit, objektivat e vëzhgueshmërisë dhe shkalla operacionale.
Ky krahasim shqyrton Amazon Web Services dhe Google Cloud duke analizuar ofertat e shërbimeve të tyre, modelet e çmimeve, infrastrukturën globale, performancën, përvojën e zhvilluesve dhe rastet ideale të përdorimit, duke ndihmuar organizatat të zgjedhin platformën cloud që përshtatet më së miri kërkesave të tyre teknike dhe të biznesit.
Balancimi i ngarkesës në sistemet ML menaxhon ngarkesat e punës së nxjerrjes së përfundimeve dhe trajnimit me shumë GPU në të gjithë harduerin e specializuar, ndërsa trajtimi i thjeshtë i kërkesave API shpërndan trafik të lehtë HTTP nëpër serverat me qëllim të përgjithshëm. Ato ndryshojnë në mënyrë dramatike në kompleksitet, kërkesa për burime dhe inteligjencë rrugëzimi.
Bazat e të dhënave vektoriale specializohen në ruajtjen dhe kërkimin e ngulitjeve me dimensione të larta për detyra të inteligjencës artificiale dhe ngjashmërisë, ndërsa bazat e të dhënave tradicionale relacionale shkëlqejnë në të dhënat e strukturuara me pyetje të sakta dhe transaksione ACID. Zgjedhja midis tyre varet nëse ngarkesa juaj e punës përqendrohet në kërkimin semantik apo në integritetin transaksional.
Bllokimet e transferimit të të dhënave ngadalësojnë kanalet e të mësuarit automatik duke kufizuar shpejtësinë e lëvizjes së informacionit midis ruajtjes, kujtesës dhe burimeve llogaritëse, ndërsa bllokimet e llogaritjes së modelit lindin kur fuqia e përpunimit të GPU-së ose CPU-së bëhet faktori kufizues. Të kuptuarit e ndryshimit i ndihmon ekipet të optimizojnë shpenzimet e infrastrukturës dhe efikasitetin e trajnimit.
