mašininis mokymasismlopsdebesų infrastruktūraml-sistemosgamyba-ml

Keičiama mašininio mokymosi infrastruktūra ir prototipinės mašininio mokymosi sistemos

Keičiama mašininio mokymosi infrastruktūra palaiko gamybinio lygio darbo krūvius, naudodama paskirstytus mokymus, automatizuotus srautus ir lanksčius skaičiavimus, o prototipinės mašininio mokymosi sistemos orientuotos į greitą eksperimentavimą ir koncepcijos įrodymo patvirtinimą. Pasirinkimas priklauso nuo to, ar jūsų prioritetas yra tyrimų lankstumas, ar įmonės patikimumas.

Akcentai

Keičiamo dydžio infrastruktūra tvarko petabaitų masto mokymą, o prototipai veikia su gigabaitų masto duomenų rinkiniais vienoje mašinoje.
Prototipų sistemos gali būti pradėtos eksploatuoti per kelias valandas; keičiamo mastelio platformoms dažnai reikia savaičių architektūrinio planavimo prieš pirmąjį diegimą.
Gamybos mašininio mokymosi (ML) atveju reikalingas toleruoti gedimus ir SLA, o prototipai toleruoja gedimus ir rankinį paleidimą iš naujo be pasekmių.
Dviejų metodų sąnaudų skirtumas gali viršyti tris dydžio eiles, priklausomai nuo darbo krūvio dydžio.

Kas yra Keičiama mašininio mokymosi infrastruktūra?

Gamybinės klasės sistemos, skirtos ML modelių mokymui, diegimui ir aptarnavimui dideliu mastu paskirstytose aplinkose.

Sukurta paskirstytųjų skaičiavimų platformų, tokių kaip „Kubernetes“, „Ray“ arba „Spark“, pagrindu, kad būtų galima apdoroti petabaitų dydžio duomenų rinkinius.
Palaiko horizontalų mastelio keitimą, leidžiantį skaičiavimo ištekliams plėstis arba mažėti atsižvelgiant į darbo krūvio poreikius.
Integruoja MLOps srautus nuolatiniam mokymui, stebėjimui ir automatizuotam modelių perkvalifikavimui.
Paprastai naudoja GPU ir TPU klasterius, kad paspartintų lygiagretų mokymą tūkstančiuose mazgų.
Priklausomai nuo debesijos paslaugų teikėjo ir naudojimo, išlaidos svyruoja nuo dešimčių tūkstančių iki milijonų dolerių per metus.

Kas yra Prototipinės ML sistemos?

Lengvos eksperimentinės aplinkos, naudojamos mašininio mokymosi koncepcijoms patvirtinti, algoritmams testuoti ir įgyvendinamumui demonstruoti prieš visapusišką kūrimą.

Paprastai veikia vienoje darbo stotyje arba mažoje debesies instancijoje su ribotais GPU ištekliais.
Pirmenybę teikia greitam iteravimui, o ne patikimumui, dažnai naudodamas „Jupyter“ užrašines arba vietinius scenarijus.
Įprasti įrankiai apima „scikit-learn“, „PyTorch“ ir „TensorFlow“ jų numatytosiose konfigūracijose.
Laikas iki rezultato matuojamas valandomis arba dienomis, o ne savaitėmis ar mėnesiais.
Debesijos pagrindu veikiančių eksperimentų išlaidos yra minimalios, dažnai mažiau nei keli šimtai dolerių per mėnesį.

Palyginimo lentelė

Funkcija	Keičiama mašininio mokymosi infrastruktūra	Prototipinės ML sistemos
Pagrindinis tikslas	Gamybos diegimas dideliu mastu	Eksperimentavimas ir koncepcijos įrodymas
Skaičiavimo ištekliai	Paskirstytieji GPU/TPU klasteriai	Viena darbo stotis arba maža virtualioji mašina
Plėtros greitis	Lėtesnis pradinis nustatymas, greitesnė iteracija dideliu mastu	Greitas nustatymas, greiti eksperimentavimo ciklai
Kainų diapazonas	10 000–1 mln. USD ir daugiau per metus	Daugumai projektų – mažiau nei 500 USD per mėnesį
Patikimumo reikalavimai	Didelis prieinamumas, atsparumas gedimams, SLA	Dedant geriausias pastangas, rankinis atkūrimas priimtinas
Reikalingas komandos dydis	5–50+ inžinierių, dirbančių mašininio mokymosi, „DevOps“ ir platformose	1–3 duomenų mokslininkai arba tyrėjai
Stebėjimas ir stebimumas	Pilnas MLOps paketas su dreifo aptikimu ir įspėjimais	Pagrindinis registravimas arba jo visai nėra
Duomenų srauto sudėtingumas	Automatizuotas ETL su funkcijų saugyklomis ir versijų kūrimu	Rankinis duomenų įkėlimas iš vietinių failų

Išsamus palyginimas

Architektūros ir infrastruktūros projektavimas

Keičiamo dydžio mašininio mokymosi infrastruktūra remiasi suderintomis konteinerių aplinkomis, kuriose darbo krūviai gali būti paskirstyti šimtams ar tūkstančiams mašinų. Tuo tarpu prototipų sistemos paprastai veikia nešiojamajame kompiuteryje arba viename nuomojamame egzemplioriuje, o kodas vykdomas nuosekliai, o ne lygiagrečiai. Architektūrinis skirtumas tarp jų yra milžiniškas: viena sukurta siekiant atsparumo ir elastingumo, o kita – optimizuota paprastumui ir iteracijos greičiui.

Sąnaudų ir išteklių investicijos

Keičiamos infrastruktūros valdymas reiškia įsipareigojimą nuolat mokėti debesijos sąskaitas, samdyti specialius platformos inžinierius ir naudoti įrankių licencijas. Vienas didelis mokymo darbas GPU klasteryje gali kainuoti tūkstančius dolerių vien skaičiavimo laiko. Kita vertus, prototipai dažnai gali būti kuriami naudojant nemokamus debesijos kreditus arba esamą aparatinę įrangą, todėl jie prieinami studentams, startuoliams ir akademiniams tyrėjams, dirbantiems su ribotais biudžetais.

Kūrimo darbo eiga ir iteracijos greitis

Prototipai puikiai tinka, kai reikia greitai patikrinti hipotezę. Tyrėjas gali paleisti nešiojamąjį kompiuterį, įkelti duomenų rinkinį ir per popietę paleisti bazinį modelį. Keičiamo dydžio sistemoms reikia daugiau išankstinių investicijų į srauto projektavimą, CI/CD konfigūraciją ir infrastruktūros kaip kodo šablonus, tačiau sukūrus jas, galima greitai perkvalifikuoti ir diegti iš naujo be rankinio įsikišimo.

Patikimumas ir pasirengimas gamybai

Kai modelis aptarnauja milijonus vartotojų, prastovos tiesiogiai reiškia pajamų praradimą ir reputacijos žalą. Keičiamo ML infrastruktūra apima perteklių, automatinį gedimų šalinimą, modelio versijų kūrimą ir atšaukimo galimybes. Prototipų sistemos neturi nė vienos iš šių apsaugos priemonių, o tai priimtina, kai rizika maža, bet nepriimtina, kai modelis tampa itin svarbus verslui.

Komandos įgūdžiai ir veiklos išlaidos

Keičiamo dydžio infrastruktūros valdymui reikalingas mašininio mokymosi (ML) patirties, „DevOps“ žinių ir programinės įrangos inžinerijos disciplinos derinys. Komandoms reikia žmonių, kurie supranta „Kubernetes“, paskirstytas sistemas ir stebimumo įrankius. Prototipų aplinkas gali valdyti vienas duomenų mokslininkas, gerai išmanantis „Python“ ir kelias bibliotekas, taip sumažinant operacinį sudėtingumą iki minimumo.

Kada pereiti nuo vieno prie kito

Sėkmingiausi mašininio mokymosi projektai prasideda nuo prototipų kūrimo ir pereina prie keičiamo mastelio infrastruktūros, kai įrodo savo vertę. Perėjimas paprastai įvyksta, kai modelis pereina nuo vidinio patvirtinimo prie diegimo klientams arba kai mokymo duomenų kiekis viršija vieno kompiuterio galimybes. Šio perdavimo planavimas anksti, net ir prototipo kūrimo metu, vėliau padeda išvengti reikšmingo pakartotinio darbo.

Privalumai ir trūkumai

Keičiama mašininio mokymosi infrastruktūra

Privalumai

+ Tvarko didžiulius duomenų rinkinius
+ Didelis prieinamumas
+ Automatinis perkvalifikavimas
+ Įmonės lygio saugumas

Pasirinkta

− Didelės išankstinės išlaidos
− Sudėtinga prižiūrėti
− Lėtesnis pradinis nustatymas
− Reikalingas specializuotas talentas

Prototipinės ML sistemos

Privalumai

+ Mažos pradžios išlaidos
+ Greitas eksperimentavimas
+ Reikalinga minimali sąranka
+ Prieinama mažoms komandoms

Pasirinkta

− Ribotas skaičiavimo pajėgumas
− Jokių gamybos garantijų
− Reikalingas rankinis mastelio keitimas
− Prastas atsparumas gedimams

Dažni klaidingi įsitikinimai

Mitas

Norint sukurti rimtą mašininio mokymosi produktą, nuo pirmos dienos reikia keičiamo dydžio infrastruktūros.

Realybė

Sėkmingiausi mašininio mokymosi produktai buvo pradėti kurti kaip prototipai viename kompiuteryje. Per anksti kuriama keičiamo mastelio infrastruktūra švaisto išteklius ir sulėtina eksperimentavimo etapą, kuriame vyksta daugiausia mokymosi. Mastelis turėtų sekti patvirtinimą, o ne prieš jį.

Mitas

Prototipų sistemos negali naudoti GPU ar greitintuvų.

Realybė

Daugelyje prototipų aplinkų naudojamos debesies GPU instancijos, tokios kaip „AWS p2“ arba nemokama „Google Colab“ pakopa. Skirtumas yra ne prieiga prie aparatinės įrangos, o orkestravimas, automatizavimas ir patikimumas, kurie yra labiau keičiamo dydžio sistemų, o ne prototipų savybės.

Mitas

Kai modelis veikia prototipe, jis veiks gamyboje su minimaliais pakeitimais.

Realybė

Modeliai, kurie gerai veikia nešiojamuosiuose kompiuteriuose, dažnai neveikia gamyboje dėl duomenų dreifo, delsos apribojimų ir integravimo iššūkių. Įprastas mašininio mokymosi diegimas reikalauja didelių inžinerinių darbų, be prototipo kūrimo, įskaitant API apvalkalą, stebėjimą ir srauto automatizavimą.

Mitas

Keičiama mašininio mokymosi infrastruktūra skirta tik didelėms technologijų įmonėms.

Realybė

„AWS SageMaker“, „Google Vertex AI“ ir „Azure ML“ valdomos paslaugos padarė keičiamo dydžio infrastruktūrą prieinamą vidutinio dydžio įmonėms. Startuoliai gali pasinaudoti šiomis platformomis nekurdami visko nuo nulio, mokėdami tik už tai, ką naudoja.

Mitas

Prototipinės ML sistemos yra neprofesionalios arba žemos kokybės.

Realybė

Prototipų kūrimas yra teisėtas ir būtinas mašininio mokymosi kūrimo etapas. Daugelis paskelbtų mokslinių straipsnių ir proveržio modelių prasidėjo kaip prototipai. Prototipo tikslas – greitai patvirtinti idėjas, o ne pateikti gamybos kodą.

Dažnai užduodami klausimai

Kuo pagrindinis skirtumas tarp keičiamo dydžio ML infrastruktūros ir prototipinių ML sistemų?

Keičiama mašininio mokymosi infrastruktūra sukurta gamybos darbo krūviams su paskirstytais skaičiavimais, automatizuotais srautais ir dideliu prieinamumu. Prototipinės mašininio mokymosi sistemos yra skirtos eksperimentams, veikiančios minimalioje aparatinėje įrangoje su rankiniais darbo eigomis. Pagrindinis skirtumas slypi jų paskirtyje: viena patikimai aptarnauja galutinius vartotojus, kita greitai patvirtina idėjas.

Kiek kainuoja keičiamo mastelio mašininio mokymosi infrastruktūra, palyginti su prototipais?

Keičiamos infrastruktūros kaina paprastai svyruoja nuo 10 000 iki daugiau nei 1 milijono dolerių per metus, priklausomai nuo debesijos naudojimo ir komandos dydžio. Prototipų sistemos paprastai kainuoja mažiau nei 500 dolerių per mėnesį, dažnai naudojant nemokamus paslaugų paketus arba vietinius kompiuterius. Kainų skirtumas atspindi skaičiavimo išteklių, įrankių ir eksploatavimo išlaidų skirtumus.

Ar ML sistemos prototipą galima vėliau išplėsti?

Taip, bet tam reikia perrašyti reikšmingas kodo bazės dalis, kad būtų galima tvarkyti paskirstytą mokymą, modelių teikimą ir srauto automatizavimą. Daugelis komandų nuo pat pradžių naudoja tokius įrankius kaip „MLflow“ arba „Kubeflow“, kad šis perėjimas būtų sklandesnis. Planuojant mastą prototipo kūrimo metu, net jei jis neįdiegiamas iš karto, sumažėja pakartotinio darbo poreikis ateityje.

Kokie įrankiai dažniausiai naudojami ML sistemų prototipams?

„Jupyter Notebooks“, „Google Colab“, „scikit-learn“, „PyTorch“ ir „TensorFlow“ yra labiausiai paplitusios prototipų kūrimo priemonės. Šios aplinkos teikia pirmenybę naudojimo paprastumui ir greitam grįžtamajam ryšiui, o ne pasirengimui gamybai. Dauguma duomenų mokslininkų, naudodami šias priemones, gali sukurti veikiantį prototipą per kelias valandas.

Kurios debesijos platformos palaiko keičiamo dydžio mašininio mokymosi infrastruktūrą?

„AWS SageMaker“, „Google Vertex AI“, „Azure Machine Learning“ ir „Databricks“ yra pirmaujančios keičiamo mastelio mašininio mokymosi infrastruktūros platformos. Jos teikia valdomus skaičiavimus, modelių registrus, diegimo galinius taškus ir stebėjimo įrankius. Atvirojo kodo alternatyvos, tokios kaip „Kubernetes“ su „Kubeflow“, taip pat leidžia keisti keičiamo mastelio diegimus bet kuriame debesijos paslaugų teikėjo serveryje.

Kiek laiko užtrunka sukurti keičiamo dydžio mašininio mokymosi infrastruktūrą?

Keičiamo dydžio mašininio mokymosi infrastruktūros sukūrimas nuo nulio nedidelei komandai paprastai trunka 2–6 mėnesius, priklausomai nuo poreikių. Naudojant valdomas paslaugas, šį laiką galima sutrumpinti iki kelių savaičių. Į šį laiką įeina skaičiavimo parengimas, srautų kūrimas, stebėjimo konfigūravimas ir diegimo darbo eigų nustatymas.

Ar man reikia „DevOps“ komandos, skirtos keičiamo dydžio mašininio mokymosi infrastruktūrai?

Keičiamo dydžio mašininio mokymosi infrastruktūrai labai rekomenduojama speciali „DevOps“ arba platformos inžinerijos komanda. Ji tvarko „Kubernetes“ valdymą, CI/CD srautus, saugumo pataisų diegimą ir incidentų reagavimą. Neturėdamos šios patirties, komandos dažnai susiduria su patikimumo problemomis ir operaciniu svoriu.

Kokia yra prototipo tiesioginio diegimo gamyboje rizika?

Prototipų modeliai, diegiami be tinkamos infrastruktūros, susiduria su tokiomis rizikomis kaip prastova, duomenų nutekėjimas, našumo pablogėjimas ir saugumo spragos. Jiems trūksta stebėjimo, versijų kontrolės ir atšaukimo mechanizmų. Daugelis įmonių šią pamoką išmoko skaudžiai, kai prototipų modeliai sugedo esant realiam apkrovimui.

Ar MLOps aktualus tik keičiamo dydžio ML infrastruktūrai?

MLOps praktika naudinga tiek prototipams, tiek keičiamo mastelio sistemoms, nors įgyvendinimo gylis skiriasi. Net prototipams naudingas eksperimentų stebėjimas ir modelio versijų kūrimas. Tačiau visavertis MLOps su automatizuotu perkvalifikavimu, poslinkio aptikimu ir nuolatiniu diegimu yra vertingiausias dideliu mastu.

Kaip nuspręsti, kada pereiti nuo prototipo prie keičiamo mastelio infrastruktūros?

Pereikite prie keičiamo mastelio infrastruktūros, kai jūsų modelis rodo nuolatinę vertę, jūsų naudotojų bazė išauga iki daugiau nei kelių šimtų naudotojų arba jūsų mokymo duomenys viršija vieno kompiuterio pajėgumą. Kiti veiksniai gali būti norminiai reikalavimai, SLA įsipareigojimai ir automatinio perkvalifikavimo poreikis. Per ilgas laukimas gali sukelti techninę skolą, kurią brangu išspręsti.

Nuosprendis

Rinkitės keičiamo dydžio mašininio mokymosi infrastruktūrą, kai jūsų modelis yra paruoštas gamybai, jūsų naudotojų bazė reikalauja patikimumo, o jūsų komanda turi išteklių sudėtingoms sistemoms prižiūrėti. Ankstyvųjų tyrimų, galimybių studijų ir bet kurio kito etapo metu, kai eksperimentavimo greitis yra svarbesnis už veikimo laiko garantijas, laikykitės mašininio mokymosi sistemų prototipų.

Susiję palyginimai

„Kafka“ ir „Flink“ palyginti su apdorojimu atmintyje

„Kafka“ ir „Flink“ sudaro paskirstytą srautinio apdorojimo ekosistemą realaus laiko duomenų srautams, o apdorojimas atmintyje pagreitina analizę, nes duomenys saugomi tik RAM atmintyje – kiekvienas iš jų tenkina iš esmės skirtingus architektūrinius greičio, mastelio ir tvarumo poreikius.

„Netflix“ mašininio mokymosi platforma ir nepriklausomi mašininio mokymosi įrankiai

„Netflix“ vidinė mašininio mokymosi platforma siūlo glaudžiai integruotus, didelio masto įrankius, skirtus transliacijų suasmeninimui, o nepriklausomi mašininio mokymosi įrankiai suteikia mažesnėms komandoms lankstumo ir kontrolės. Pasirinkimas priklauso nuo masto, pritaikymo poreikių ir esamų investicijų į infrastruktūrą.

Adaptyvioji infrastruktūra ir statinė infrastruktūros projektavimas

Adaptyvi infrastruktūra dinamiškai prisitaiko prie kintančių darbo krūvių, naudodama automatizavimą ir mastelio keitimą realiuoju laiku, o statinės infrastruktūros projektavimas remiasi fiksuotais, iš anksto sukonfigūruotais ištekliais. Pasirinkimas priklauso nuo darbo krūvio kintamumo, biudžeto nuspėjamumo ir veikimo brandos jūsų debesijos aplinkoje.

Apkrovos balansavimas mašininio mokymosi sistemose ir paprastas API užklausų tvarkymas

Apkrovos balansavimas mašininio mokymosi sistemose valdo GPU reikalaujančius išvadų ir mokymo darbo krūvius specializuotoje įrangoje, o paprastas API užklausų apdorojimas paskirsto nedidelį HTTP srautą bendrosios paskirties serveriuose. Jie labai skiriasi sudėtingumu, išteklių poreikiu ir maršruto parinkimo išmanumu.

Atsparumas gedimams ir sistemos paleidimas iš naujo

Atsparumas gedimams proaktyviai perkelia darbo krūvius į sveikas sistemas, kol vartotojai nepastebi problemų, o sistemos gedimų atveju iš naujo paleidžiamos sistemos reaktyviai atkuria paslaugas po netikėtų gedimų. Abu metodai siekia palaikyti prieinamumą, tačiau iš esmės skiriasi laiku, architektūros sudėtingumu ir poveikiu vartotojams.