Paskirstytas ML teikimas paskirsto išvadų apkrovą keliuose mazguose, kad būtų užtikrintas mastelio keitimas ir atsparumas, o centralizuotas modelių teikimas sutelkia skaičiavimus vienoje sistemoje, kad būtų paprasčiau ir lengviau valdyti. Pasirinkimas priklauso nuo srauto modelių, delsos reikalavimų ir operacinės brandos.
Aptarnaujanti architektūra, kuri vykdo modelio išvadas keliose mašinose ar mazguose, kad būtų galima valdyti mastelį ir atsparumą gedimams.
Tradicinė aptarnavimo sistema, kai vienas įrenginys arba mažas klasteris talpina modelį ir tvarko visas išvadų užklausas.
| Funkcija | Paskirstytas mašininio mokymosi aptarnavimas | Centralizuotas modelio aptarnavimas |
|---|---|---|
| Architektūros stilius | Keli mazgai už apkrovos balansavimo įrenginio | Vienas mazgas arba glaudžiai sujungtas klasteris |
| Mastelio keitimas | Horizontalus, beveik tiesinis su mazgų skaičiumi | Vertikalus, ribojamas vienos mašinos įrangos |
| Gedimų tolerancija | Didelis, išlikusių atskirų mazgų gedimų skaičius | Žemas, vienas gedimo taškas |
| Veiklos sudėtingumas | Aukštesnis lygis, reikalauja orkestravimo ir stebėjimo | Žemesnis, lengviau diegiamas ir derinamas |
| Tipinis latencijos profilis | Kintamas, optimizuotas pralaidumui | Nuoseklus, optimizuotas nuspėjamumui |
| Geriausiai tinka | Didelis QPS, dideli modeliai, gamybinis srautas | Mažas arba vidutinis srautas, prototipai, vidiniai įrankiai |
| Sąnaudų modelis | Aukštesnis bazinis lygis, prisitaiko prie paklausos | Apatinė bazinė vertė, fiksuotas pajėgumas |
| Bendrosios sistemos | Tritonas, Ray Serve, KServe, BentoML | „FastAPI“, „Flask“, „MLflow“, vieno mazgo TF aptarnavimas |
Paskirstytas teikimas sužiba, kai srautas išauga tiek, kad vienas įrenginys negali apdoroti. Pridėjus daugiau replikų ar fragmentų, apkrova paskirstoma ir atsako laikas išlieka stabilus net ir staigių šuolių metu. Priešingai, centralizuotas teikimas apriboja pralaidumą iki tokio lygio, kokį gali pateikti pagrindinis kompiuteris, todėl mastelio keitimas reiškia didesnės dėžės pirkimą, o ne daugiau mazgų pridėjimą.
Kai paskirstyto klasterio mazgas sugenda, srautas automatiškai peradresuojamas, o paslauga lieka įjungta. Centralizuotose sistemose tokio saugumo tinklo nėra, todėl aparatinės įrangos gedimas arba branduolio panika atjungia visą API, kol kas nors įsikiš. Kritinių programų atveju šis vienas gedimo taškas dažnai yra lemiamas veiksnys.
Paskirstytos sistemos valdymas reiškia paslaugų aptikimo, sistemos būklės patikrų, automatinio mastelio keitimo taisyklių ir stebėjimo valdymą daugelyje judančių dalių. Centralizuotas aptarnavimas yra daug patogesnis mažoms komandoms, nes vieną procesą viename kompiuteryje yra daug lengviau stebėti ir argumentuoti. Kompromisas yra tas, kad paprastumas šiandien gali tapti kliūtimi rytoj.
Paskirstytos sistemos kartais prideda nedidelį tinklo šuolį per apkrovos balansavimo įrenginį, tačiau jos taip pat sumažina eilės gylį kiekviename mazge, o tai dažnai pagerina uodegos delsą esant apkrovai. Centralizuotas aptarnavimas visiškai išvengia papildomo šuolio, todėl esant mažam srautui užtikrinamas labai pastovus delsos laikas. Tačiau esant dideliam srautui, eilės kaupiasi viename pagrindiniame kompiuteryje, o p99 delsos laikas greitai mažėja.
Paskirstytas teikimas leidžia automatinio mastelio keitimo būdu suderinti pajėgumus su paklausa, todėl mokate tik už tai, ką naudojate ramiais laikotarpiais. Centralizuotam teikimui reikia iš anksto pasiruošti didžiausiai apkrovai, o tai gali reikšti, kad didžiąją laiko dalį įranga bus nenaudojama. Nuspėjamiems, mažo apimties darbo krūviams centralizuotas metodas paprastai yra pigesnis.
Paskirstytas aptarnavimas visada yra greitesnis nei centralizuotas.
Greitis priklauso nuo darbo krūvio ir konfigūracijos. Esant mažam srautui, papildomas tinklo šuolis paskirstytose sistemose gali padidinti delsą, o gerai suderintas centralizuotas serveris gali reaguoti greičiau. Paskirstytas aptarnavimas padidina pralaidumą ir delsą esant dideliam apkrovimui, o ne būtinai sumažina neapdorotą greitį.
Centralizuotas aptarnavimas visiškai negali būti plečiamas.
Centralizuotos sistemos gali plėstis vertikaliai, atnaujinant jas į didesnes mašinas su daugiau atminties ir GPU. Daugelis gamybos sistemų veikia centralizuotai ir sėkmingai veikia daugelį metų, kol prireikia platinimo. Riba yra aparatinė įranga, o ne architektūra.
Paskirstytas teikimas panaikina stebėjimo poreikį.
Paskirstytoms sistemoms iš tikrųjų reikia daugiau stebėjimo, o ne mažiau. Norint anksti pastebėti problemas, reikia stebėti kiekvieno mazgo būklę, užklausų maršrutizavimą, replikų skaičių ir viso klasterio delsą. Be stebėjimo galimybių gedimus diagnozuoti yra daug sunkiau.
Visi mašininio mokymosi modeliai naudojasi paskirstyto aptarnavimo privalumais.
Maži modeliai su mažu srautu dažnai puikiai veikia vienoje mašinoje. Jų paskirstymas padidina išlaidas ir sudėtingumą, be reikšmingo našumo padidėjimo. Platinimas daugiausia atsiperka naudojant didelius modelius, aukštą QPS arba griežtus prieinamumo reikalavimus.
Centralizuotas aptarnavimas yra pasenusi technologija.
Centralizuotas teikimas išlieka numatytuoju daugelio realių diegimų, ypač vidinių API, paketinių išvadų užduočių ir ankstyvosios stadijos produktų, įrankiu. Jis nėra pasenęs; tai tiesiog tinkamas įrankis kitokioms problemoms spręsti.
Rinkitės paskirstytą mašininio mokymosi (ML) teikimą, kai tikitės didelio užklausų skaičiaus, jums reikia atsparumo gedimams arba vykdote didelius modelius, kurie viršija vieno kompiuterio atmintį. Centralizuotą modelių teikimą rinkitės prototipams, vidinėms priemonėms arba mažai srauto generuojančioms API, kur paprastumas ir nuspėjama delsa yra svarbesni už neapdorotą mastą.
„Kafka“ ir „Flink“ sudaro paskirstytą srautinio apdorojimo ekosistemą realaus laiko duomenų srautams, o apdorojimas atmintyje pagreitina analizę, nes duomenys saugomi tik RAM atmintyje – kiekvienas iš jų tenkina iš esmės skirtingus architektūrinius greičio, mastelio ir tvarumo poreikius.
„Netflix“ vidinė mašininio mokymosi platforma siūlo glaudžiai integruotus, didelio masto įrankius, skirtus transliacijų suasmeninimui, o nepriklausomi mašininio mokymosi įrankiai suteikia mažesnėms komandoms lankstumo ir kontrolės. Pasirinkimas priklauso nuo masto, pritaikymo poreikių ir esamų investicijų į infrastruktūrą.
Adaptyvi infrastruktūra dinamiškai prisitaiko prie kintančių darbo krūvių, naudodama automatizavimą ir mastelio keitimą realiuoju laiku, o statinės infrastruktūros projektavimas remiasi fiksuotais, iš anksto sukonfigūruotais ištekliais. Pasirinkimas priklauso nuo darbo krūvio kintamumo, biudžeto nuspėjamumo ir veikimo brandos jūsų debesijos aplinkoje.
Apkrovos balansavimas mašininio mokymosi sistemose valdo GPU reikalaujančius išvadų ir mokymo darbo krūvius specializuotoje įrangoje, o paprastas API užklausų apdorojimas paskirsto nedidelį HTTP srautą bendrosios paskirties serveriuose. Jie labai skiriasi sudėtingumu, išteklių poreikiu ir maršruto parinkimo išmanumu.
Atsparumas gedimams proaktyviai perkelia darbo krūvius į sveikas sistemas, kol vartotojai nepastebi problemų, o sistemos gedimų atveju iš naujo paleidžiamos sistemos reaktyviai atkuria paslaugas po netikėtų gedimų. Abu metodai siekia palaikyti prieinamumą, tačiau iš esmės skiriasi laiku, architektūros sudėtingumu ir poveikiu vartotojams.
