Secinājumu efektivitāte mēra, cik labi izvietotais mākslīgā intelekta modelis apstrādā pieprasījumus, izmantojot minimālu skaitļošanas apjomu, savukārt apmācības skaitļošanas izmaksas atspoguļo resursus, kas iztērēti modeļa apmācībai no nulles. Abi veido mākslīgā intelekta ekonomiku, bet darbojas pilnīgi dažādos modeļa dzīves cikla posmos.
Cik efektīvi apmācīts mākslīgā intelekta modelis nodrošina prognozes, izmantojot minimālu skaitļošanas, atmiņas un enerģijas patēriņu katram pieprasījumam.
Kopējais GPU stundu, enerģijas un dolāru skaits, kas nepieciešams, lai apmācītu modeli no neapstrādātiem datiem līdz izvietojamam stāvoklim.
| Funkcija | Secinājumu efektivitāte | Apmācības aprēķinu izmaksas |
|---|---|---|
| Kad tas notiek | Pēc izvietošanas katru reizi, kad modelis tiek izmantots | Pirms izvietošanas, modeļa izveides laikā |
| Izmaksu ilgums | Pastāvīgi, mērogojas ar lietošanas apjomu | Vienreizējs uzliesmojums, kas ilgst nedēļām vai mēnešiem ilgi |
| Primārā metrika | Žetoni sekundē uz GPU, latentums, maksa par pieprasījumu | Kopējais FLOP skaits, GPU stundas, sienas pulksteņa apmācības laiks |
| Tipiska skala | Miljoniem līdz miljardiem pieprasījumu mēnesī | Tūkstošiem GPU, kas darbojas 1–6 mēnešus |
| Izmaksu optimizācijas rīki | Kvantizācija, partiju apstrāde, kešatmiņa, modeļa destilācija | Jaukta precizitāte, gradienta kontrolpunkti, datu paralēlisms |
| Dominējošais izmaksu virzītājspēks | Atmiņas joslas platums un KV kešatmiņas lielums | Starpgrafisko procesoru komunikācija un atmiņas ietilpība |
| Enerģijas profils | Stabils, sadalīts starp daudziem mazākiem pieprasījumiem | Masīvs koncentrēts impulss treniņa laikā |
| Aparatūras fokuss | Secinājumiem optimizētas mikroshēmas (L40S, TPU v5e, pielāgotas ASIC) | Apmācībai optimizētas mikroshēmas (H100, B200, TPU v5p) |
Apmācības aprēķinu izmaksas ir vienreizējs ieguldījums, kas tiek veikts pirms modeļa palaišanas. Savukārt secinājumu efektivitāte ir pastāvīga problēma, kas sākas brīdī, kad modelis tiek palaists, un turpinās katram pieprasījumam, ko tas apstrādā. Uzņēmums var iztērēt 50 miljonus dolāru modeļa apmācībai vienreiz un pēc tam, ja modelis kļūst populārs, kopumā secinājumiem iztērēt daudz vairāk nekā šo summu modeļa dzīves laikā.
Apmācības izmaksas aptuveni paredzamā veidā palielinās līdz ar modeļa lielumu un datu kopas lielumu, proti, skaitļošanas apjoma dubultošana zināmā mērā aptuveni dubulto jaudu. Secināšanas izmaksas palielinās līdz ar lietotāju pieprasījumu, kas ir daudz mazāk paredzams un var strauji pieaugt vienas nakts laikā, ja produkts kļūst populārs. Tāpēc jaunuzņēmumi bieži vien nenovērtē secinājumu budžetus, vienlaikus pārvērtējot apmācības budžetus, kā rezultātā pirmajā ieviešanas gadā rodas naudas plūsmas pārsteigumi.
Apmācības optimizācija koncentrējas uz lielākas mācīšanās iespiešanu no katra FLOP, izmantojot tādas metodes kā jauktas precizitātes aritmētika, ZeRO stila atmiņas sadalīšana un gradienta uzkrāšana. Secinājumu optimizācija izmanto citu pieeju, prioritāri piešķirot atmiņas joslas platumam, KV kešatmiņas pārvaldībai un spekulatīvai dekodēšanai, lai apkalpotu vairāk pieprasījumu uz vienu GPU. Abām jomām ir daži kopīgi pamati, taču tās lielā mērā atšķiras atsevišķās inženierijas specialitātēs ar saviem ietvariem un etaloniem.
Apmācības darba slodzes dod priekšroku GPU ar milzīgu HBM atmiņu un liela joslas platuma savienojumiem, piemēram, NVIDIA H100 un B200, kas paredzēti, lai nodrošinātu tūkstošiem paātrinātāju nepārtrauktu darbību. Secinājumu darba slodzes var darbināt ar lētākām, energoefektīvākām mikroshēmām, piemēram, L40S, TPU v5e vai pat pielāgotu Groq un Cerebras silīciju, kas prioritāti piešķir viena pieprasījuma latentumam, nevis neapstrādātai apmācības caurlaidspējai. Daudzas organizācijas tagad katrai fāzei izmanto atsevišķus klasterus, lai optimizētu izmaksas.
Apmācības aprēķinu izmaksas nosaka, vai modeli vispār ir iespējams izveidot, bieži vien nosakot, kuras organizācijas var konkurēt progresīvā līmenī. Secinājumu efektivitāte nosaka, vai ieviestais modelis ir rentabls, jo katrs efektivitātes uzlabojuma procentpunkts tieši uzlabo peļņas normu katrā API izsaukumā vai produkta mijiedarbībā. Investori un finanšu direktori arvien vairāk rūpīgi pārbauda secinājumu vienības ekonomiku, jo tieši tur atrodas ilgtermiņa biznesa vērtība.
Apmācība vienmēr ir dārgāka nekā secinājumu izdarīšana.
Populāri izvietotajiem modeļiem secinājumu izmaksas regulāri pārsniedz kopējās apmācības izmaksas 6–12 mēnešu laikā. Tiek ziņots, ka ChatGPT katru gadu tērē simtiem miljonu secinājumiem, ievērojami pārsniedzot sākotnējo apmācības budžetu. Apmācības izmaksas ir vienreizējs trieciens, savukārt secinājumi uzkrājas uz visiem laikiem.
Dārgāks treniņš vienmēr rada labāku modeli.
Aprēķini ir nepieciešami, bet nepietiekami. Datu kvalitāte, arhitektūras izvēles un apmācības metodoloģija bieži vien ir svarīgāki par neapstrādātiem FLOP. Daži no labākajiem atvērtā pirmkoda modeļiem tika apmācīti ar nelielu budžetu, izmantojot gudras metodes, savukārt dārgas palaišanas ir devušas neapmierinošus rezultātus.
Secinājumu efektivitāte ir tikai modeļu paātrināšana.
Ātrums ir viens no aspektiem, bet secinājumu efektivitāte ietver arī izmaksas par vienu marķieri, enerģijas patēriņu, atmiņas aizņemto daļu un uzticamību slodzes apstākļos. Modelis var būt ātrs, bet dārgs, vai lēts, bet neuzticams, un patiesa efektivitāte līdzsvaro visus šos faktorus.
Jums jāuztraucas tikai par vienu vai otru.
Mūsdienu mākslīgā intelekta sistēmām ir jāoptimizē abi. Lēti apmācīts, bet neefektīvi apkalpots modelis izšķies naudu, savukārt dārgi apmācīts modelis ar sliktu secinājumu ekonomiku gūs grūtības atrast ilgtspējīgu biznesa modeli. Šīs abas problēmas ir cieši saistītas.
Lētāka secinājumu izdarīšana vienmēr nozīmē sliktāku kvalitāti.
Tādas metodes kā kvantēšana, destilēšana un spekulatīvā dekodēšana var ievērojami samazināt secinājumu izmaksas ar minimālu kvalitātes zudumu. INT8 vai INT4 kvantēšana bieži vien saglabā vairāk nekā 95% modeļa kvalitātes, vienlaikus samazinot skaitļošanas prasības uz pusi vai vairāk.
Izvēlieties optimizēt secinājumu efektivitāti, ja jūsu modelis jau ir ieviests un apkalpo reālus lietotājus, jo katra ietaupītā milisekunde un marķieris nodrošina ievērojamus izmaksu ietaupījumus. Koncentrējieties uz skaitļošanas apmācības izmaksām, ja veidojat jaunu modeli no nulles un jums ir jālīdzsvaro spēju pieaugums ar sākotnējām investīcijām. Lielākā daļa nobriedušu mākslīgā intelekta organizāciju uzskata abus par kritiski svarīgiem, taču secinājumu efektivitāte parasti nodrošina labāku ieguldījumu atdevi jau esošiem produktiem, savukārt skaitļošanas apmācība ir jaunu izrāvienu vārtu sargs.
Adaptīvā infrastruktūra dinamiski pielāgojas mainīgajām darba slodzēm, izmantojot automatizāciju un mērogošanu reāllaikā, savukārt statiskās infrastruktūras dizains balstās uz fiksētiem, iepriekš konfigurētiem resursiem. Izvēle starp tiem ir atkarīga no darba slodzes mainīguma, budžeta paredzamības un darbības brieduma jūsu mākoņvidē.
Augstas caurlaidspējas apkalpošanas sistēmas apstrādā milzīgu pieprasījumu apjomu ar milisekundes līmeņa latentumu, nodrošinot ieteikumu dzinēju un reklāmu platformu darbību. API ar mazu datplūsmu apkalpo mazākas lietotāju bāzes, kur vienkāršība, izmaksu efektivitāte un uzturēšanas vieglums ir svarīgāki par neapstrādātu mērogu.
Augstas caurlaidspējas ieteikumu apkalpošana koncentrējas uz miljonu vienumu ranžēšanu katrā pieprasījumā plašā mērogā, savukārt zemas latentuma API sistēmas piešķir prioritāti ātram, paredzamam atbildes laikam vispārējas nozīmes vaicājumiem. Abas pieprasa veiktspēju zem 100 ms, bet risina fundamentāli atšķirīgas inženiertehniskās problēmas mūsdienu mākoņinfrastruktūrā.
Šis salīdzinājums izvērtē Amazon Web Services un Google Cloud, analizējot to pakalpojumu piedāvājumus, cenu modeļus, globālo infrastruktūru, veiktspēju, izstrādātāju pieredzi un optimālos lietošanas gadījumus, palīdzot organizācijām izvēlēties mākoņplatformu, kas vislabāk atbilst to tehniskajām un biznesa prasībām.
Baitu nobīdes kontrolpunkti un bezstāvokļa atkopšana ir principiāli atšķirīgas pieejas kļūdu tolerancei izkliedētās sistēmās, kur pirmā saglabā precīzas straumes pozīcijas precīzai atsākšanas iespējai, bet otrā atjauno stāvokli no nulles, izmantojot nemainīgus datu avotus, aizstājot krātuves pieskaitāmās izmaksas rekonstrukcijas vienkāršības labad.
