gépi tanulási feladatokhoz létrehozott szolgáltatáshálók dinamikus, nagy volumenű következtetési forgalmat kezelnek részletes forgalomkezeléssel, míg a hagyományos API-átjárók a kérések útválasztására, a hitelesítésre és a sebességkorlátozásra összpontosítanak a standard mikroszolgáltatások esetében. A választás attól függ, hogy elsődleges szempontunk a gépi tanulásra jellemző megfigyelhetőség és modellverzió-kezelés, vagy az általános célú API-vezérelt vezérlés.
Egy infrastruktúra réteg, amely a gépi tanulási szolgáltatások közötti kommunikáció kezelésére, a következtetési forgalom kezelésére, a modell verziókövetésére és a GPU-érzékeny útválasztásra szolgál.
Egy központosított belépési pont, amely API-kérelmeket irányít, hitelesítést érvényesít, sebességkorlátokat alkalmaz, és átalakítja a hasznos adatokat a háttérszolgáltatások számára.
| Funkció | Szolgáltatásháló gépi tanuláshoz | Hagyományos API-átjárók |
|---|---|---|
| Elsődleges használati eset | ML következtetés forgalomkezelés és modell verziókezelés | Általános API kérésirányítás és -vezérelt vezérlés |
| Forgalmi kör | Kelet-nyugati (szolgáltatások közötti) és nagy volumenű következtetési hívások | Észak-déli (kliens-szolgáltatás) kérés-válasz |
| Telepítési modell | Sidecar proxy minden szolgáltatás mellett (pl. Envoy, Linkerd-proxy) | Központosított átjáró a hálózat szélén |
| Modell verziókezelési támogatás | Natív forgalomfelosztás kanári és kék-zöld modellek bevezetésekor | Korlátozott; jellemzően egyéni útválasztási szabályokat igényel |
| Megfigyelhetőség | Kérelemenkénti metrikák, elosztott nyomkövetés és gépi tanulásra jellemző telemetria | Összesített mutatók, alapvető naplózás és kérések száma |
| Biztonsági funkciók | Automatikus mTLS szolgáltatások között, részletes jogosultságkezelési szabályzatok | API-kulcs-érvényesítés, OAuth 2.0, JWT és IP-engedélyezés |
| GPU-érzékeny útválasztás | GPU elérhetősége és erőforrás-kihasználtsága alapján irányítható | Nem natívan támogatott |
| Késleltetési többletterhelés | Általában 1-3 ms ugrásonként a mellékkocsi-feldolgozás miatt | Általában alacsonyabb az egyugrásos átjáróhívások esetén |
| Legmegfelelőbb | Kubernetes-alapú ML platformok mikroszolgáltatásokkal | Nyilvános API-k, mobil backendek és monolitikus szolgáltatáskitettség |
A szolgáltatáshálók kiválóan kezelik az ML-rendszerek által generált összetett forgalmi mintákat, különösen akkor, ha a csapatoknak fokozatosan kell bevezetniük az új modellverziókat. Lehetővé teszik a forgalom felosztását a modellverziók között az infrastruktúra szintjén, így a kérések 5%-án új modellt futtathat, míg a régi modell a többit kezeli. A hagyományos API-átjárók hasonló felosztásokat érhetnek el egyéni útválasztási szabályokon keresztül, de nem a modellverziók figyelembevételével tervezték őket, így a konfiguráció törékenyebb és nehezebben karbantartható nagy léptékben.
Amikor valami probléma merül fel egy gépi tanulási (ML) következtetési folyamattal, tudnia kell, hogy a probléma a modellel, az adatokkal vagy a hálózattal van-e. A szolgáltatáshálók elosztott nyomkövetést biztosítanak, amely több szolgáltatáson keresztül követi a kérést, rögzíti az egyes ugrások késleltetését, és korrelálja azt az adott modellverziókkal. Az API-átjárók megfelelő naplózást és metrikák biztosítanak, de jellemzően az átjáró határán megállnak, így Önnek kell összeraknia, hogy mi történt a szolgáltatáshálón vagy a mikroszolgáltatás-környezetben.
Mindkét megközelítés komolyan veszi a biztonságot, de különböző problémákat oldanak meg. A szolgáltatáshálók (service mesh) a szolgáltatások közötti kommunikáció automatikus mTLS-titkosításával zéró bizalomra épülő hálózatépítést biztosítanak, ami akkor fontos, amikor érzékeny következtetési adatok áramlanak több tucat mikroszolgáltatás között. Az API-átjárók a perembiztonságra összpontosítanak, és még azelőtt ellenőrzik a bejövő kérések jogosságát, hogy azok elérnék a háttérrendszert. Az olyan szabályozott adatokat, mint az egészségügyi vagy pénzügyi információk, kezelő gépi tanulási rendszerek esetében a két réteg kombinálása gyakran a legértelmesebb.
Az ML-munkaterhelések eltérnek a tipikus webszolgáltatásoktól, mivel gyakran GPU-korlátozottak és memória-igényesek. Egyes szolgáltatásháló-implementációk konfigurálhatók úgy, hogy a kéréseket a GPU elérhetősége alapján irányítsák, és a forgalmat a rendelkezésre álló gyorsítókapacitással rendelkező csomópontokhoz küldjék. A hagyományos API-átjárók nem ismerik az alapul szolgáló hardvererőforrásokat, minden backendet fekete dobozként kezelnek. Ez kevésbé hatékonysá teszi őket, amikor maximalizálni kell a drága GPU-kihasználtságot egy következtetési szerverekből álló flottán.
A szolgáltatáshálók további működési terhelést jelentenek, mivel minden szolgáltatáshoz tartozik egy mellékgép-proxy, amelyet telepíteni, monitorozni és frissíteni kell. Egy Kubernetes-szel már jártas csapat számára ez kezelhető, de tanulási görbét eredményez. Az API-átjárók általában egyszerűbbek üzemeltetni, mivel egyetlen komponensből állnak, bár a vállalati átjárók, mint például az Apigee, saját összetettséggel rendelkeznek a fejlesztői portálok és az API-termékkezelés terén.
A szolgáltatáshálók mellékkocsi-mintája minden ugrásnál késleltetést okoz, jellemzően néhány milliszekundumot, ami a mély mikroszolgáltatás-láncokban gyarapodhat. A késleltetésre érzékeny gépi tanulási alkalmazások, például a valós idejű ajánlórendszerek esetében ez a többletterhelés számít. Az API-átjárók csak egyszer, a peremhálózaton adnak hozzá késleltetést, így kiszámíthatóbbak az egyszerű kérés-válasz minták esetében. A nagy léptékű szolgáltatásháló futtatásának üzemeltetési költségeit azonban ellensúlyozhatja a csökkentett hibakeresési idő és a gépi tanulási modellek jobb bevezetési biztonsága.
A szolgáltatáshálók és az API-átjárók ugyanazt teszik, és csak egyre van szükség.
Különböző célokat szolgálnak. Az API-átjárók az észak-déli irányú forgalmat kezelik a peremhálózaton, míg a szolgáltatáshálók a szolgáltatások közötti kelet-nyugati irányú forgalmat kezelik. Sok szervezet mindkettőt egyszerre futtatja, mindegyik azt kezeli, amihez a legjobban ért.
Az API-átjárók ugyanolyan jól tudják kezelni az ML-modellek verziózását, mint egy szolgáltatásháló.
Az API-átjárók fejlécek vagy elérési utak alapján irányíthatnak, de hiányzik belőlük a szolgáltatáshálók által kínált mély integráció a telepítési rendszerekkel. A problémás modellverziók visszagörgetése gyorsabb és biztonságosabb egy szolgáltatáshálóval, mivel a forgalomfelosztás dinamikusan módosítható az átjárókonfigurációk újratelepítése nélkül.
A szolgáltatáshálók túl sok késleltetést okoznak az éles gépi tanulási rendszerekben.
A modern mellékgép-proxyk, mint például az Envoy és a Linkerd-proxy, a legtöbb benchmarkban mindössze 1-3 milliszekundumot adnak hozzá ugrásonként. A legtöbb gépi tanulási következtetési terhelés esetében ez a többletidő elhanyagolható a tényleges modellkövetkeztetési időhöz képest, ami gyakran 10-100 milliszekundum vagy több.
Nincs szükséged service mesh-re, ha már van API-átjáród.
Egy API-átjáró védi a peremhálózatot, de nem biztosítja és nem figyeli meg a belső szolgáltatások közötti forgalmat. Egy több tucat szolgáltatást tartalmazó mikroszolgáltatás-architektúrában a szolgáltatásháló olyan nulla megbízhatóságú biztonságot és megfigyelhetőséget biztosít, amire egy API-átjáró egyszerűen nem képes.
szolgáltatáshálók csak Kubernetes környezetekben hasznosak.
Míg a szolgáltatáshálók leggyakrabban a Kuberneteshez kapcsolódnak, az olyan implementációk, mint a Consul Connect és a Linkerd, virtuális gépeken és csupasz fémen is futtathatók. A sidecar minta bárhol működik, ahol proxyt telepíthet egy alkalmazás mellett.
Ha az infrastruktúra Kubernetes-alapú ML platformokon alapul, gyakori modellfrissítésekkel és összetett szolgáltatás-szolgáltatás kommunikációval, akkor az ML-munkaterhelésekhez igazított szolgáltatásháló jobb kontrollt és megfigyelhetőséget biztosít. Azoknak a szervezeteknek, amelyek néhány ML-végpontot tesznek elérhetővé külső kliensek vagy mobilalkalmazások számára, egy hagyományos API-átjáró egyszerűbben kezelhető és elegendő a feladathoz. Sok éles rendszer végül mindkettőt használja, az API-átjáró kezeli a külső forgalmat, a szolgáltatásháló pedig a belső ML-szolgáltatáskommunikációt.
Az adaptív infrastruktúra dinamikusan alkalmazkodik a változó munkaterhelésekhez automatizálás és valós idejű skálázás révén, míg a statikus infrastruktúra-tervezés fix, előre konfigurált erőforrásokra támaszkodik. A köztük való választás a munkaterhelés változékonyságától, a költségvetés kiszámíthatóságától és a felhőkörnyezeten belüli működési érettségtől függ.
Az adatátviteli szűk keresztmetszetek lelassítják a gépi tanulási folyamatokat azáltal, hogy korlátozzák az információk sebességét a tároló, a memória és a számítási erőforrások között, míg a modellszámítási szűk keresztmetszetek akkor keletkeznek, amikor a GPU vagy a CPU feldolgozási teljesítménye válik korlátozó tényezővé. A különbség megértése segít a csapatoknak optimalizálni az infrastrukturális kiadásokat és a képzési hatékonyságot.
felhasználói azonosító szerinti adatfelosztás egyedi felhasználói azonosítók alapján osztja el a rekordokat az előre látható hozzáférési minták érdekében, míg a földrajzi hely szerinti felosztás régiók szerint osztja fel az adatokat a késleltetés minimalizálása és az adatszuverenitási törvények betartása érdekében. Mindkét stratégia megoldja a méretezési kihívásokat, de alapvetően eltérő prioritásokhoz optimalizál.
Az adatfolyam-optimalizálás a nyers adatok hatékony mozgatására és elemzési célú átalakítására összpontosít, míg a modellfolyamat-optimalizálás a gépi tanulási modellek betanítását, validálását és telepítését egyszerűsíti. Mindkettő kritikus fontosságú a skálázható MI-rendszerek számára, de a gépi tanulási életciklus különböző szakaszait célozzák meg.
Az adatinfrastruktúra réteg kezeli a nyers adatfolyamatok tárolását, feldolgozását és kezelését, míg a modellképzési réteg az algoritmusok futtatására összpontosít a gépi tanulási modellek betanításához. Mindkettő elengedhetetlen a mesterséges intelligencia rendszerekben, de alapvetően eltérő szerepet töltenek be a fejlesztési életciklusban.
