Mašininio mokymosi darbo krūviams sukurti paslaugų tinklai tvarko dinaminį, didelio masto išvadų srautą, naudodami smulkaus srauto valdymą, o tradiciniai API šliuzai daugiausia dėmesio skiria užklausų nukreipimui, autentifikavimui ir standartinių mikropaslaugų greičio ribojimui. Pasirinkimas priklauso nuo to, ar jūsų pagrindinis rūpestis yra ML specifinis stebimumas ir modelio versijų kūrimas, ar bendrosios paskirties API orkestravimas.
Infrastruktūros sluoksnis, skirtas valdyti ryšį tarp ML paslaugų, tvarkyti išvadų srautą, modelių versijavimą ir GPU pagrįstą maršrutizavimą.
Centralizuotas įėjimo taškas, kuris nukreipia API užklausas, vykdo autentifikavimą, taiko greičio apribojimus ir transformuoja naudingąją apkrovą vidinėms paslaugoms.
| Funkcija | Paslaugų tinklas mašininiam mokymuisi (ML) | Tradiciniai API šliuzai |
|---|---|---|
| Pagrindinis naudojimo atvejis | ML išvados srauto valdymas ir modelių versijų kūrimas | Bendras API užklausų maršrutizavimas ir orkestravimas |
| Eismo schema | Rytų–vakarų (tarpusavio) ir didelio masto išvadų skambučiai | Šiaurės–pietų (kliento–paslaugos) užklausos ir atsakymo sistema |
| Diegimo modelis | Šalutinis tarpinis serveris šalia kiekvienos paslaugos (pvz., „Envoy“, „Linkerd-proxy“) | Centralizuotas šliuzas, įrengtas tinklo krašte |
| Modelių versijų palaikymas | Gimtoji srauto padalijimo sistema, skirta „canarry“ ir „Blue-Green“ modelių diegimui | Ribotas; paprastai reikalingos pasirinktinės maršruto parinkimo taisyklės |
| Stebimumas | Užklausos metrika, paskirstytas sekimas ir mašininio mokymosi telemetrija | Apibendrinta metrika, pagrindinis registravimas ir užklausų skaičius |
| Apsaugos funkcijos | Automatinis mTLS tarp paslaugų, išsamios autorizacijos politikos | API rakto patvirtinimas, „OAuth 2.0“, JWT ir IP adresų įtraukimas į baltąjį sąrašą |
| GPU-apsaugotas maršrutizavimas | Galima maršrutizuoti pagal GPU prieinamumą ir išteklių naudojimą | Nepalaikoma iš pradžių |
| Vėlavimo pridėtinės išlaidos | Paprastai 1–3 ms per šuolį dėl šalutinio apdorojimo | Paprastai mažesnis vieno šuolio šliuzo skambučiams |
| Geriausiai tinka | Kubernetes pagrįstos ML platformos su mikropaslaugomis | Viešos API, mobiliosios serverių sistemos ir monolitinių paslaugų prieinamumas |
Paslaugų tinklai puikiai valdo sudėtingus srauto modelius, kuriuos generuoja mašininio mokymosi sistemos, ypač kai komandoms reikia palaipsniui diegti naujas modelio versijas. Jie leidžia padalinti srautą tarp modelio versijų infrastruktūros lygmeniu, todėl galite paleisti naują modelį 5 % užklausų, o senasis modelis tvarko likusią dalį. Tradiciniai API šliuzai gali pasiekti panašų padalinimą naudodami pasirinktines maršruto parinkimo taisykles, tačiau jie nebuvo sukurti atsižvelgiant į modelio versijavimą, todėl konfigūracija yra trapesnė ir sunkiau prižiūrima dideliu mastu.
Kai kas nors nepavyksta su ML išvadų srautu, reikia žinoti, ar problema susijusi su modeliu, duomenimis ar tinklu. Paslaugų tinklai teikia paskirstytą sekimą, kuris seka užklausą keliose paslaugose, fiksuodamas kiekvieno šuolio delsą ir susiedamas ją su konkrečiomis modelio versijomis. API šliuzai siūlo tinkamą registravimą ir metriką, tačiau jie paprastai sustoja ties šliuzo riba, todėl jums tereikia sudėlioti, kas nutiko jūsų paslaugų tinklelio arba mikropaslaugų aplinkoje.
Abu metodai rimtai žiūri į saugumą, tačiau sprendžia skirtingas problemas. Paslaugų tinklai užtikrina nulinio pasitikėjimo tinklą, automatiškai šifruodami visą paslaugų tarpusavio ryšį naudojant mTLS, o tai svarbu, kai tarp dešimčių mikropaslaugų teka jautrūs išvadų duomenys. API šliuzai sutelkia dėmesį į perimetro saugumą, patvirtindami, kad gaunamos užklausos yra teisėtos, dar prieš joms pasiekiant jūsų vidinę sistemą. ML sistemoms, tvarkančioms reguliuojamus duomenis, pvz., sveikatos priežiūros ar finansinę informaciją, dažnai prasmingiausia derinti abu sluoksnius.
ML darbo krūviai elgiasi kitaip nei įprastos žiniatinklio paslaugos, nes jie dažnai yra apriboti GPU ir naudoja daug atminties. Kai kuriuos paslaugų tinklo diegimus galima sukonfigūruoti taip, kad užklausos būtų nukreipiamos pagal GPU prieinamumą, siunčiant srautą į mazgus su laisva greitintuvo talpa. Tradiciniai API šliuzai neturi sąvokos apie pagrindinius aparatinės įrangos išteklius, todėl kiekvienas serveris laikomas juodąja dėže. Dėl to jie yra mažiau efektyvūs, kai reikia maksimaliai padidinti brangaus GPU panaudojimą visame išvadų serverių parke.
Paslaugų tinklai sukuria papildomas operacines išlaidas, nes kiekviena paslauga gauna šalutinį tarpinį serverį, kurį reikia diegti, stebėti ir atnaujinti. Komandai, kuri jau yra susipažinusi su „Kubernetes“, tai yra įveikiama, tačiau tai prideda mokymosi kreivę. API šliuzai paprastai yra paprastesni valdyti, nes jie yra vienas komponentas, nors įmonių šliuzai, tokie kaip „Apigee“, yra sudėtingi kūrėjų portalų ir API produktų valdymo srityje.
Paslaugų tinklelių šalutinis modelis prideda delsą kiekviename šuolyje, paprastai kelias milisekundes, o tai gali padidinti deficitą giliose mikropaslaugų grandinėse. ML programoms, tokioms kaip realaus laiko rekomendavimo sistemos, šios pridėtinės išlaidos yra svarbios. API šliuzai prideda delsą tik vieną kartą krašte, todėl jie yra labiau nuspėjami paprastiems užklausų ir atsakymų modeliams. Tačiau paslaugų tinklelio paleidimo dideliu mastu eksploatavimo išlaidas galima kompensuoti sutrumpintu derinimo laiku ir geresniu ML modelių diegimo saugumu.
Paslaugų tinklai ir API šliuzai atlieka tą patį veiksmą, ir jums reikia tik vieno.
Jie atlieka skirtingus tikslus. API šliuzai valdo šiaurės–pietų srautą tinklo krašte, o paslaugų tinklai tvarko rytų–vakarų srautą tarp paslaugų. Daugelis organizacijų veikia abu vienu metu, kiekviena tvarkydama tai, ką geriausiai išmano.
API šliuzai gali apdoroti ML modelio versijavimą taip pat gerai, kaip ir paslaugų tinklas.
API šliuzai gali nukreipti pagal antraštes arba kelius, tačiau jiems trūksta gilios integracijos su diegimo sistemomis, kurias siūlo paslaugų tinklai. Probleminės modelio versijos atšaukimas yra greitesnis ir saugesnis naudojant paslaugų tinklą, nes srauto paskirstymą galima dinamiškai koreguoti neperdiegiant šliuzo konfigūracijų.
Paslaugų tinklai sukuria per daug delsos gamybinėms mašininio mokymosi sistemoms.
Šiuolaikiniai šalutiniai tarpiniai serveriai, tokie kaip „Envoy“ ir „Linkerd“ tarpiniai serveriai, daugumoje lyginamųjų testų prideda tik 1–3 milisekundes vienam šuoliui. Daugumai ML išvadų darymo darbo krūvių šios pridėtinės išlaidos yra nereikšmingos, palyginti su faktiniu modelio išvadų darymo laiku, kuris dažnai yra 10–100 milisekundžių ar daugiau.
Jums nereikia paslaugų tinklo, jei jau turite API šliuzą.
API šliuzas apsaugo jūsų perimetrą, tačiau jis neapsaugo ir nestebi srauto tarp vidinių paslaugų. Mikropaslaugų architektūroje su dešimtimis paslaugų paslaugų tinklas užtikrina nulinio pasitikėjimo saugumą ir stebimumą, kurio API šliuzas tiesiog negali suteikti.
Paslaugų tinklai naudingi tik „Kubernetes“ aplinkose.
Nors paslaugų tinklai dažniausiai siejami su „Kubernetes“, tokios implementacijos kaip „Consul Connect“ ir „Linkerd“ gali veikti virtualiose mašinose ir „bare metal“ aplinkoje. Šalutinės mašinos modelis veikia bet kur, kur galite diegti tarpinį serverį kartu su programa.
Jei jūsų infrastruktūra pagrįsta „Kubernetes“ pagrindu sukurtomis ML platformomis, kuriose dažnai atnaujinami modeliai ir vyksta sudėtinga paslaugų tarpusavio komunikacija, ML darbo krūviams pritaikytas paslaugų tinklas suteiks jums geresnę kontrolę ir stebimumą. Organizacijoms, kurios teikia kelis ML galinius taškus išoriniams klientams arba mobiliosioms programoms, tradicinis API šliuzas yra paprasčiau valdomas ir jo pakanka šiam darbui. Daugelis gamybinių sistemų galiausiai naudoja abu, kai API šliuzas tvarko išorinį srautą, o paslaugų tinklas – vidinį ML paslaugų ryšį.
„Kafka“ ir „Flink“ sudaro paskirstytą srautinio apdorojimo ekosistemą realaus laiko duomenų srautams, o apdorojimas atmintyje pagreitina analizę, nes duomenys saugomi tik RAM atmintyje – kiekvienas iš jų tenkina iš esmės skirtingus architektūrinius greičio, mastelio ir tvarumo poreikius.
„Netflix“ vidinė mašininio mokymosi platforma siūlo glaudžiai integruotus, didelio masto įrankius, skirtus transliacijų suasmeninimui, o nepriklausomi mašininio mokymosi įrankiai suteikia mažesnėms komandoms lankstumo ir kontrolės. Pasirinkimas priklauso nuo masto, pritaikymo poreikių ir esamų investicijų į infrastruktūrą.
Adaptyvi infrastruktūra dinamiškai prisitaiko prie kintančių darbo krūvių, naudodama automatizavimą ir mastelio keitimą realiuoju laiku, o statinės infrastruktūros projektavimas remiasi fiksuotais, iš anksto sukonfigūruotais ištekliais. Pasirinkimas priklauso nuo darbo krūvio kintamumo, biudžeto nuspėjamumo ir veikimo brandos jūsų debesijos aplinkoje.
Apkrovos balansavimas mašininio mokymosi sistemose valdo GPU reikalaujančius išvadų ir mokymo darbo krūvius specializuotoje įrangoje, o paprastas API užklausų apdorojimas paskirsto nedidelį HTTP srautą bendrosios paskirties serveriuose. Jie labai skiriasi sudėtingumu, išteklių poreikiu ir maršruto parinkimo išmanumu.
Atsparumas gedimams proaktyviai perkelia darbo krūvius į sveikas sistemas, kol vartotojai nepastebi problemų, o sistemos gedimų atveju iš naujo paleidžiamos sistemos reaktyviai atkuria paslaugas po netikėtų gedimų. Abu metodai siekia palaikyti prieinamumą, tačiau iš esmės skiriasi laiku, architektūros sudėtingumu ir poveikiu vartotojams.
