Datuen Azpiegitura Geruzak datu gordinak gordetzea, prozesatzea eta kudeatzeaz arduratzen da, eta Ereduen Prestakuntza Geruzak, berriz, makina-ikaskuntzako ereduak entrenatzeko algoritmoak exekutatzean jartzen du arreta. Biak ezinbestekoak dira adimen artifizial sistemetan, baina funtsean funtzio desberdinak betetzen dituzte garapen-zikloan.
Datuak beheko aplikazioei eta ML bideei biltzeaz, gordetzeaz, prozesatzeaz eta zerbitzatzeaz arduratzen den oinarrizko sistema.
Makina-ikaskuntzako ereduek prestatutako datuetatik ereduak ikasten dituzten konputazio-geruza, optimizazio-prozesu iteratiboen bidez.
| Ezaugarria | Datuen Azpiegitura Geruza | Ereduaren Prestakuntza Geruza |
|---|---|---|
| Helburu nagusia | Datuak modu fidagarrian gorde, prozesatu eta zerbitzatu | Datuetan oinarritutako ML ereduak entrenatu eta optimizatu |
| Oinarrizko Teknologiak | Kafka, Txingarra, Aire-fluxua, Elur-maluta, S3 | PyTorch, TensorFlow, CUDA, Horovod, Ray |
| Kalkulu-eskakizunak | CPUrako optimizatua, S/I-ren errendimendu handia | GPU/TPUrako optimizatua, memoria-banda-zabalera handia |
| Datuen eskala | Petabyte datu gordin eta prozesatuetan | Gigabyteetatik terabyteetara entrenamendu-multzoetan |
| Metrika nagusiak | Latentzia, errendimendua, datuen freskotasuna | Galera, zehaztasuna, entrenamendu denbora, konbergentzia |
| Akatsen eragina | Beheko hodiak datu zaharkituak gelditzen edo sortzen dituzte | Prestakuntza-lanak berrabiarazi edo eredu eskasak sortzen dituzte |
| Erabiltzaile tipikoak | Datu-ingeniariak, plataforma-taldeak | ML ingeniariak, ikerketa zientzialariak |
| Kostu-eragileak | Biltegiratze-bolumena eta sareko irteera | GPU orduak eta azeleragailuaren erabilera |
Datuen Azpiegitura Geruza gora dago, datu-multzo garbi eta fidagarriak entrenamendu-hodira elikatuz. Hori gabe, Ereduen Entrenamendu Geruzak ez luke ezer esanguratsurik izango ikasteko. Alderantziz, Ereduen Entrenamendu Geruzak prestatutako datu horiek kontsumitzen ditu eta azkenean zabalduko diren entrenatutako artefaktuak sortzen ditu. Mendekotasun sekuentzial bat osatzen dute, lehian dauden alternatibak baino.
Datu-azpiegituren lan-kargek memoria-ahalmen handiko eta sare-konexio azkarra duten CPUak nahiago dituzte normalean, eragiketa gehienek datu-bolumen handiak mugitu eta eraldatzea dakartelako. Modeloen entrenamenduak, berriz, ikaskuntza sakonaren muinean dauden matrize-biderketan bikainak diren GPU edo TPU bezalako azeleragailu espezializatuak behar ditu. Hardware-profilak hain dira desberdinak, ezen hodeiko hornitzaileek askotan instantzia-familia guztiz bereizietan prezioa jartzen diete.
Datuen Azpiegitura Geruza eskalatzeak normalean biltegiratze nodo gehiago gehitzea, partizio kopurua handitzea edo datuak eskualdeen artean zatitzea esan nahi du. Modeloen Prestakuntza Geruzak modu ezberdinean eskalatzen du, askotan modeloen pisuak GPU askotan banatuz edo modelo handi bakarra hainbat azeleragailutan zatituz. Bietako batek arazoak ditu, baina irtenbideak gutxitan gainjartzen dira.
Datu-taldeek eskemaren desbideratzeaz, datu berandu iristeaz eta pipeline-beteketaz kezkatzen dira. ML taldeek gradiente-leherketak, kontrol-puntuen hondatzeaz eta exekuzioen arteko erreproduzigarritasunaz kezkatzen dira. Geruza bakoitzak bere behaketa-pila du, Great Expectations edo Monte Carlo bezalako tresnekin datuen aldean eta Weights & Biases edo MLflow entrenamenduaren aldean.
Datu-azpiegituren kostuak egonkorrak eta aurreikusgarriak izan ohi dira, batez ere biltegiratze-bolumenak eta etengabeko ingestioak bultzatuta. Modeloen prestakuntza-kostuak altuak eta proiektuen araberakoak dira, prestakuntza-exekuzio bakar batek milaka GPU ordu kontsumitu baititzake tarte labur batean. Erakundeek askotan ikusten dute prestakuntza-kostuak nagusi direla modeloen garapenean, eta datuen kostuak, berriz, egoera egonkorreko ekoizpenean.
Datu Azpiegitura Geruzan lan egiten duten ingeniariak normalean datu-ingeniaritzako edo sistema banatuetako esperientziak dituzte, eta SQL, streaming sistemak eta biltegiratze motorrak sakonki ezagutzen dituzte. Modeloen Prestakuntza Geruzan lan egiten dutenek normalean matematika aplikatuko edo ML ikerketako esperientziak dituzte, eta optimizazio numerikoan, sare neuronalen arkitekturetan eta azeleragailuen programazioan adituak dira.
GPU nahikoa badituzu, datu-geruza sendo bat eraikitzea saihestu dezakezu.
Entrenamendu konfigurazio indartsuenak ere modelo eskasak sortzen ditu datu zaratatsuak, zaharkituak edo gaizki etiketatuak ematen zaizkienean. Ekoizpeneko ML akats gehienak datu arazoetan oinarritzen dira, eta ez konputazio gabezietan. Datu oinarri sendo bat da GPU denborak benetan merezi duena.
Modeloen entrenamendua makina handi batean script bat exekutatzea besterik ez da.
Ekoizpen-prestakuntzak orkestrazio banatua, kontrol-puntuak, hiperparametroen kudeaketa, esperimentuen jarraipena eta hutsegiteen berreskurapena barne hartzen ditu. Script soil gisa tratatzeak aurrerapenaren galera, emaitza erreproduziezinak eta kalkulu-aurrekontuak alferrik galtzea dakar.
Datuen azpiegitura eta modeloen entrenamendua modu independentean optimiza daitezke.
Bi geruzak oso lotuta daude. Datuen eskeman, etiketatzean edo banaketan izandako aldaketek zuzenean eragiten diote modeloen errendimenduari. Bakarka optimizatzen dituzten taldeek askotan beren modeloak isilean hondatzen direla ikusten dute goiko datuak aldatzen direnean.
Datu gehiagok beti hobetzen du modeloaren zehaztasuna.
Kalitatea askoz gehiago axola du kantitateak baino. Gaizki etiketatutako edo garrantzirik gabeko milioika erregistro gehitzeak ereduaren errendimendua kaltetu dezake. Ondo zaindutako eta gobernatutako datu-multzoek ia beti emaitza hobeak lortzen dituzte gordin eta iragazkirik gabeko datu-multzoekin alderatuta, tamaina edozein dela ere.
Hodeiko kudeatutako zerbitzuek ezabatzen dute barne-espezializazioaren beharra bi geruzetan.
Kudeatutako plataformek ohiko eragiketak ondo kudeatzen dituzte, baina taldeek bi geruzen ulermen sakona behar dute errendimendua doitzeko, kostuak kontrolatzeko eta akatsak arazteko. Abstrakzioak lana murrizten du, baina ez du oinarrizko ezagutza ordezkatzen.
Aukeratu Datuen Azpiegitura Geruza zure lehentasuna datuen mugimendu fidagarria, gobernantza eta analisiak eskala handian zerbitzatzea denean. Aukeratu Ereduen Prestakuntza Geruza zure arreta makina-ikaskuntzako ereduak eraikitzean, esperimentatzean eta optimizatzean dagoenean. Praktikan, IA sistema helduek bi geruzak harmonian lan egitea behar dute, datu-azpiegitura sendoak ereduen prestakuntza azkarragoa eta erreproduzigarriagoa ahalbidetzen duelarik.
Adimen artifizialaren orkestrazio sistemek hainbat eredu, tresna eta datu-kanal koordinatzen dituzte esparru bateratu baten bidez, eta eredu autonomoen erabilerak, berriz, zeregin bakoitzerako zuzenean IA eredu bakarra deitzea dakar. Erakundeek normalean ikuspegi hauen artean aukeratzen dute konplexutasunaren, eskalaren eta urrats anitzeko automatizazioaren beharraren arabera.
AWS eta Google Cloud konparaketa honek beren zerbitzu eskaintzak, prezio ereduak, azpiegitura globala, errendimendua, garatzaileen esperientzia eta kasu erabilgarri idealak aztertzen ditu, erakundeei beren behar tekniko eta negozio-eskakizunetara hobekien egokitzen zaien hodei plataforma aukeratzen lagunduz.
Azpiegitura moldagarriak dinamikoki egokitzen dira lan-karga aldakorretara automatizazioaren eta denbora errealeko eskalatzearen bidez, azpiegitura estatikoaren diseinuak, berriz, baliabide finko eta aurrez konfiguratuetan oinarritzen da. Horien artean aukeratzea lan-kargaren aldakortasunaren, aurrekontuaren aurreikusgarritasunaren eta zure hodeiko ingurunearen heldutasun operatiboaren araberakoa da.
Balidatzaile-sareek konfiantza banatzen dute nodo independente askotan zehar, eta horrek aproposak bihurtzen ditu blockchain adostasunerako eta aplikazio deszentralizatuetarako. Zerbitzari zentralizatuek kontrola operadore bakarrean kontzentratzen dute, abiadura eta sinpletasuna eskainiz web hosting tradizionalerako eta enpresa-lan-kargetarako.
Banatutako informatikak lan-karga hainbat makina elkarri konektatuta banatzen du, eta datu-zentro zentralizatuek, berriz, prozesatzeko ahalmena instalazio fisiko bakar batean kontzentratzen dute. Bi ikuspegiek hodeiko zerbitzu modernoak elikatzen dituzte, baina nabarmen desberdinak dira eskalagarritasunean, akatsen tolerantzian eta kostuen egituran.
