Mašīnmācīšanās darba slodzēm izveidotie pakalpojumu tīkli apstrādā dinamisku, liela apjoma secinājumu trafiku ar detalizētu trafika pārvaldību, savukārt tradicionālie API vārtejas koncentrējas uz pieprasījumu maršrutēšanu, autentifikāciju un ātruma ierobežošanu standarta mikropakalpojumiem. Izvēle starp tiem ir atkarīga no tā, vai jūsu galvenā prioritāte ir mašīnmācīšanās specifiska novērojamība un modeļa versiju veidošana vai vispārējas nozīmes API orķestrēšana.
Infrastruktūras slānis, kas paredzēts mašīnmācīšanās pakalpojumu saziņas pārvaldībai, secinājumu datplūsmas apstrādei, modeļu versiju veidošanai un GPU apzinošai maršrutēšanai.
Centralizēts ieejas punkts, kas maršrutē API pieprasījumus, nodrošina autentifikāciju, piemēro ātruma ierobežojumus un pārveido vērtumus aizmugursistēmas pakalpojumiem.
| Funkcija | Pakalpojumu tīkls mašīnmācīšanās vajadzībām | Tradicionālās API vārtejas |
|---|---|---|
| Primārais lietošanas gadījums | ML secinājumu datplūsmas pārvaldība un modeļu versiju veidošana | Vispārīga API pieprasījumu maršrutēšana un orķestrēšana |
| Satiksmes shēma | Austrumu-rietumu (pakalpojumu savstarpējie) un liela apjoma secinājumu zvani | Ziemeļu-dienvidu (klients–pakalpojums) pieprasījums–atbilde |
| Izvietošanas modelis | Blakuspakalpojuma starpniekserveris līdzās katram pakalpojumam (piemēram, Envoy, Linkerd-proxy) | Centralizēta vārteja, kas izvietota tīkla malā |
| Modeļa versiju veidošanas atbalsts | Vietējā datplūsmas sadalīšana kanārijzaļo un zili zaļo modeļu ieviešanai | Ierobežots; parasti nepieciešami pielāgoti maršrutēšanas noteikumi |
| Novērojamība | Pieprasījuma metrika, izkliedētā izsekošana un mašīnmācīšanās specifiska telemetrija | Apkopotie rādītāji, pamata reģistrēšana un pieprasījumu skaits |
| Drošības funkcijas | Automātiska mTLS starp pakalpojumiem, detalizētas autorizācijas politikas | API atslēgas validācija, OAuth 2.0, JWT un IP baltais saraksts |
| GPU apzinoša maršrutēšana | Var maršrutēt, pamatojoties uz GPU pieejamību un resursu izmantošanu | Nav iebūvēts atbalsts |
| Latentuma virsizdevumi | Parasti 1–3 ms uz lēcienu blakusvāģa apstrādes dēļ | Parasti zemāks vienas pieturas vārtejas izsaukumiem |
| Vispiemērotākais | Kubernetes balstītas mašīnmācīšanās platformas ar mikropakalpojumiem | Publiskās API, mobilās aizmugures sistēmas un monolīta pakalpojumu pieejamība |
Pakalpojumu tīkli lieliski pārvalda sarežģītos datplūsmas modeļus, ko ģenerē mašīnmācīšanās sistēmas, īpaši, ja komandām pakāpeniski jāievieš jaunas modeļu versijas. Tie ļauj sadalīt datplūsmu starp modeļu versijām infrastruktūras līmenī, lai jūs varētu palaist jaunu modeli 5% pieprasījumu, kamēr vecais modelis apstrādā pārējo. Tradicionālie API vārtejas var panākt līdzīgu sadalījumu, izmantojot pielāgotus maršrutēšanas noteikumus, taču tie netika izstrādāti, ņemot vērā modeļu versijas, padarot konfigurāciju trauslāku un grūtāk uzturējamu lielā mērogā.
Kad kaut kas noiet greizi ar mašīnmācīšanās secinājumu cauruļvadu, jums jāzina, vai problēma ir modelī, datos vai tīklā. Pakalpojumu tīkli nodrošina izkliedētu izsekošanu, kas seko pieprasījumam vairākos pakalpojumos, fiksējot latentumu katrā lēcienā un korelējot to ar konkrētām modeļa versijām. API vārtejas piedāvā pienācīgu reģistrēšanu un metriku, taču tās parasti apstājas pie vārtejas robežas, ļaujot jums salikt kopā to, kas noticis jūsu pakalpojumu tīklā vai mikropakalpojumu vidē.
Abas pieejas uztver drošību nopietni, taču tās risina dažādas problēmas. Pakalpojumu tīkli nodrošina nulles uzticēšanās tīklošanu, automātiski šifrējot visu pakalpojumu savstarpējo saziņu ar mTLS, kas ir svarīgi, ja sensitīvi secinājumu dati plūst starp desmitiem mikropakalpojumu. API vārtejas koncentrējas uz perimetra drošību, pārbaudot ienākošo pieprasījumu likumīgumu, pirms tie sasniedz jūsu aizmugursistēmu. Mašīnmācīšanās sistēmām, kas apstrādā regulētus datus, piemēram, veselības aprūpes vai finanšu informāciju, abu slāņu apvienošana bieži vien ir visizdevīgākā.
Mašīnmācīšanās darba slodzes uzvedas atšķirīgi no tipiskiem tīmekļa pakalpojumiem, jo tās bieži vien ir piesaistītas GPU un patērē daudz atmiņas. Dažas pakalpojumu tīkla implementācijas var konfigurēt tā, lai pieprasījumus novirzītu, pamatojoties uz GPU pieejamību, nosūtot datplūsmu uz mezgliem ar pieejamu paātrinātāja jaudu. Tradicionālajām API vārtejām nav koncepcijas par pamatā esošajiem aparatūras resursiem, katru aizmugursistēmu uzskatot par melnu kasti. Tas padara tās mazāk efektīvas, ja ir nepieciešams maksimāli palielināt dārgā GPU izmantošanu visā secinājumu serveru flotē.
Pakalpojumu tīkli rada papildu darbības izmaksas, jo katram pakalpojumam ir blakusparādību starpniekserveris, kas ir jāizvieto, jāuzrauga un jāatjaunina. Komandai, kas jau ir iepazinusies ar Kubernetes, tas ir pārvaldāms, taču tas rada mācību līkni. API vārtejas parasti ir vienkāršāk lietojamas, jo tās ir viena sastāvdaļa, lai gan uzņēmumu vārtejas, piemēram, Apigee, ir sarežģītas izstrādātāju portālu un API produktu pārvaldības ziņā.
Pakalpojumu tīklu blakusvāģu modelis katrā lēcienā palielina latentumu, parasti dažas milisekundes, kas var palielināt dziļo mikropakalpojumu ķēžu radīto slodzi. Latentuma jutīgām mašīnmācīšanās lietojumprogrammām, piemēram, reāllaika ieteikumu sistēmām, šī papildu slodze ir svarīga. API vārtejas pievieno latentumu tikai vienu reizi malā, padarot tās paredzamākas vienkāršiem pieprasījumu-atbildes modeļiem. Tomēr pakalpojumu tīkla darbības izmaksas plašā mērogā var kompensēt ar samazinātu atkļūdošanas laiku un labāku mašīnmācīšanās modeļu ieviešanas drošību.
Pakalpojumu tīkli un API vārtejas dara to pašu, un jums ir nepieciešams tikai viens.
Tie kalpo dažādiem mērķiem. API vārtejas pārvalda ziemeļu-dienvidu datplūsmu perifērijā, savukārt pakalpojumu tīkli apstrādā austrumu-rietumu datplūsmu starp pakalpojumiem. Daudzas organizācijas darbojas abos vienlaicīgi, katrai apstrādājot to, ko tā dara vislabāk.
API vārtejas var apstrādāt ML modeļu versiju izveidi tikpat labi kā pakalpojumu tīkls.
API vārtejas var maršrutēt, pamatojoties uz galvenēm vai ceļiem, taču tām trūkst dziļas integrācijas ar izvietošanas sistēmām, ko piedāvā pakalpojumu tīkli. Problemātiskas modeļa versijas atcelšana ir ātrāka un drošāka, izmantojot pakalpojumu tīklu, jo datplūsmas sadalījumu var dinamiski pielāgot, nepārizvietojot vārtejas konfigurācijas.
Pakalpojumu tīkli rada pārāk lielu latentumu ražošanas mašīnmācīšanās sistēmām.
Mūsdienu blakusvāģu starpniekserveri, piemēram, Envoy un Linkerd-proxy, vairumā etalonu pievieno tikai 1–3 milisekundes uz katru lēcienu. Lielākajai daļai mašīnmācīšanās secinājumu darba slodžu šī pieskaitāmā slodze ir niecīga, salīdzinot ar faktisko modeļa secinājumu laiku, kas bieži vien ir 10–100 milisekundes vai vairāk.
Jums nav nepieciešams pakalpojumu tīkls, ja jums jau ir API vārteja.
API vārteja aizsargā jūsu perimetru, taču tā nenodrošina un neuzrauga datplūsmu starp iekšējiem pakalpojumiem. Mikropakalpojumu arhitektūrā ar desmitiem pakalpojumu pakalpojumu tīkls nodrošina nulles uzticamības drošību un novērojamību, ko API vārteja vienkārši nevar nodrošināt.
Pakalpojumu tīkli ir noderīgi tikai Kubernetes vidēm.
Lai gan pakalpojumu tīkli visbiežāk tiek saistīti ar Kubernetes, tādas ieviešanas metodes kā Consul Connect un Linkerd var darboties gan virtuālajās mašīnās, gan uz tukša metāla. Blakusvāģa modelis darbojas jebkur, kur var izvietot starpniekserveri līdzās lietojumprogrammai.
Ja jūsu infrastruktūras centrā ir Kubernetes balstītas mašīnmācīšanās platformas ar biežiem modeļu atjauninājumiem un sarežģītu pakalpojumu savstarpēju komunikāciju, mašīnmācīšanās darba slodzēm pielāgots pakalpojumu tīkls nodrošinās labāku kontroli un novērojamību. Organizācijām, kas ārējiem klientiem vai mobilajām lietotnēm nodrošina vairākus mašīnmācīšanās galapunktus, tradicionālā API vārteja ir vienkāršāk pārvaldāma un pietiekama šim uzdevumam. Daudzas ražošanas sistēmas galu galā izmanto abus, API vārtejai apstrādājot ārējo datplūsmu, bet pakalpojumu tīklam pārvaldot iekšējo mašīnmācīšanās pakalpojumu komunikāciju.
Adaptīvā infrastruktūra dinamiski pielāgojas mainīgajām darba slodzēm, izmantojot automatizāciju un mērogošanu reāllaikā, savukārt statiskās infrastruktūras dizains balstās uz fiksētiem, iepriekš konfigurētiem resursiem. Izvēle starp tiem ir atkarīga no darba slodzes mainīguma, budžeta paredzamības un darbības brieduma jūsu mākoņvidē.
Augstas caurlaidspējas apkalpošanas sistēmas apstrādā milzīgu pieprasījumu apjomu ar milisekundes līmeņa latentumu, nodrošinot ieteikumu dzinēju un reklāmu platformu darbību. API ar mazu datplūsmu apkalpo mazākas lietotāju bāzes, kur vienkāršība, izmaksu efektivitāte un uzturēšanas vieglums ir svarīgāki par neapstrādātu mērogu.
Augstas caurlaidspējas ieteikumu apkalpošana koncentrējas uz miljonu vienumu ranžēšanu katrā pieprasījumā plašā mērogā, savukārt zemas latentuma API sistēmas piešķir prioritāti ātram, paredzamam atbildes laikam vispārējas nozīmes vaicājumiem. Abas pieprasa veiktspēju zem 100 ms, bet risina fundamentāli atšķirīgas inženiertehniskās problēmas mūsdienu mākoņinfrastruktūrā.
Šis salīdzinājums izvērtē Amazon Web Services un Google Cloud, analizējot to pakalpojumu piedāvājumus, cenu modeļus, globālo infrastruktūru, veiktspēju, izstrādātāju pieredzi un optimālos lietošanas gadījumus, palīdzot organizācijām izvēlēties mākoņplatformu, kas vislabāk atbilst to tehniskajām un biznesa prasībām.
Baitu nobīdes kontrolpunkti un bezstāvokļa atkopšana ir principiāli atšķirīgas pieejas kļūdu tolerancei izkliedētās sistēmās, kur pirmā saglabā precīzas straumes pozīcijas precīzai atsākšanas iespējai, bet otrā atjauno stāvokli no nulles, izmantojot nemainīgus datu avotus, aizstājot krātuves pieskaitāmās izmaksas rekonstrukcijas vienkāršības labad.
