Hajutatud andmetöötlus jaotab töökoormuse paljude omavahel ühendatud masinate vahel, samas kui tsentraliseeritud andmekeskused koondavad töötlemisvõimsuse ühte füüsilisse rajatisse. Mõlemad lähenemisviisid toetavad tänapäevaseid pilveteenuseid, kuid erinevad oluliselt skaleeritavuse, rikketaluvuse ja kulustruktuuri poolest.
Mudel, kus töötlemisülesanded on jagatud mitme omavahel ühendatud arvuti vahel, mis töötavad koos ühtse süsteemina.
Traditsiooniline infrastruktuurimudel, kus kõik arvutusressursid asuvad ühes spetsiaalses rajatises.
| Funktsioon | Hajutatud andmetöötlus | Tsentraliseeritud andmekeskused |
|---|---|---|
| Arhitektuur | Mitu sõlme erinevates asukohtades | Üksikasutusasutus või ülikoolilinnak |
| Skaleeritavus | Horisontaalne, lisa sõlmi ükskõik kuhu | Vertikaalne, laiendage rajatise mahutavust |
| Vea taluvus | Kõrge, ühtegi rikkepunkti pole | Madalam, sõltub redundantsuse disainist |
| Latentsusaeg | Muutuv, sõltub sõlme lähedusest | Järjepidev asutusesiseselt |
| Juhtimise keerukus | Kõrgem, nõuab orkestreerimistööriistu | Madalam, tsentraliseeritud administratsioon |
| Turvamudel | Hajutatud usaldus ja krüptimine | Füüsiline perimeeter ja juurdepääsukontroll |
| Tüüpilised kasutusjuhud | Suurandmed, plokiahel, servapüüdlused | Ettevõtte rakendused, pilvemajutus, SaaS |
| Kulude struktuur | Madalamad riistvarakulud, parem võrguühendus | Kõrgemad rajatise kulud, prognoositav tegevus |
Hajutatud andmetöötlus hajutab töötlemise paljude masinate vahel, mis võivad asuda eri linnades, riikides või isegi mandritel. Need sõlmed suhtlevad standardsete võrguprotokollide kaudu ja koordineerivad tööd konsensusalgoritmide või master-worker mustrite abil. Tsentraliseeritud andmekeskused kasutavad vastupidist lähenemisviisi, pakkides tuhandeid servereid ühte hoonesse hoolikalt kontrollitud jahutuse, toite ja ühenduvusega. Füüsiline kontsentratsioon muudab riistvara hoolduse lihtsaks, kuid loob ühtse geograafilise sõltuvuse.
Nõudluse järsu suurenemise korral saavad hajutatud süsteemid klastrisse lihtsalt lisada sõlmi, sageli erinevates piirkondades, et teenindada neile lähemal asuvaid kasutajaid. See horisontaalne skaleerimine on massilises mastaabis tavaliselt paindlikum ja kulutõhusam. Tsentraliseeritud rajatised skaleeruvad vertikaalselt, lisades rohkem servereid, riiuleid või isegi ehitades uusi tiibu, mis nõuab märkimisväärseid kapitaliinvesteeringuid ja ettevalmistusaega. Pilveteenuse pakkujad ühendavad sageli mõlemad mudelid, kasutades tsentraliseeritud hüperskaalilisi ülikoolilinnakuid, mis sisemiselt tuginevad hajutatud tarkvaraarhitektuuridele.
Hajutatud süsteemid on oma olemuselt vastupidavamad, kuna ühe sõlme rike harva kogu võrgu kokku kukub. Teenused nagu Google'i otsinguinfrastruktuur või Amazoni DynamoDB on loodud töötama ka siis, kui üksikud masinad kokku jooksevad. Tsentraliseeritud andmekeskused võivad saavutada sarnase töökindluse redundantsete toiteallikate, varugeneraatorite ja tõrkeklastrite abil, kuid katastroofiline sündmus, näiteks tulekahju või üleujutus põhikeskuses, võib siiski põhjustada suuri katkestusi. 2017. aasta S3 katkestus AWS-is näitas, kuidas ühe rajatise probleem võib mõjutada lugematuid teenuseid.
Tsentraliseeritud andmekeskused pakuvad sama piirkonnaga ühenduse loomisel kasutajatele tavaliselt väga ühtlast latentsust, kuna kõik serverid jagavad sama kohalikku võrku. Hajutatud süsteemid võivad mõnikord põhjustada muutuvat latentsust, kuna sõlmed peavad suhtlema pikemate vahemaade tagant, kuigi servapüüdluste variandid vähendavad latentsust tegelikult, paigutades arvutusvõimsuse lõppkasutajatele lähemale. Selliste töökoormuste puhul nagu kõrgsageduslik kauplemine või reaalajas videotöötlus on arvutusressursside geograafiline paigutus tohutult oluline, mistõttu sisuedastusvõrgud ühendavad mõlemad lähenemisviisid.
Tsentraliseeritud rajatise käitamisega kaasnevad suured püsikulud: kinnisvara, jahutussüsteemid, füüsiline turvalisus ja spetsiaalne elektriinfrastruktuur. Need kulud on prognoositavad, kuid nõuavad märkimisväärset esialgset kapitali. Hajutatud andmetöötlus nihutab kulutusi võrgustamisele, orkestreerimistarkvarale ja sõlmede vahelisele pidevale koordineerimisele. Organisatsioonide jaoks, kellel puudub eelarve andmekeskuse ehitamiseks, osutub hajutatud pilveressursside rentimine pakkujatelt nagu AWS või Azure sageli säästlikumaks kui oma tsentraliseeritud rajatise ehitamine.
Tsentraliseeritud andmekeskused lihtsustavad vastavusauditeid, kuna tundlikud andmed asuvad ühes teadaolevas asukohas, millele on kontrollitud füüsiline juurdepääs. Reguleeritud tööstusharud, nagu pangandus ja tervishoid, eelistavad seda mudelit sageli sel põhjusel. Hajutatud süsteemid raskendavad vastavust, kuna andmed võivad asuda mitmes jurisdiktsioonis, millel kõigil on erinevad privaatsusseadused. Hajutatud arhitektuurid võivad aga parandada turvalisust teatud rünnakute vastu, kuna ühe sõlme kahjustamine ei paljasta kogu süsteemi. Kaasaegsed krüpteerimis- ja nullusaldusraamistikud aitavad ületada lõhet nende kahe lähenemisviisi vahel.
Hajutatud andmetöötlus tähendab alati plokiahelat või krüptoraha.
Hajutatud andmetöötlus on lai valdkond, mis on aastakümneid varasem kui plokiahel. See hõlmab klasterarvutust, võrkarvutust, mikroteenuseid ja sisuedastusvõrke. Plokiahel on vaid üks hajutatud põhimõtete spetsialiseeritud rakendus, mis keskendub konsensusele ilma keskse autoriteedita.
Tsentraliseeritud andmekeskused on pilveajastul vananenud.
Tsentraliseeritud rajatised on väga elujõulised ja moodustavad iga suurema pilveteenuse pakkuja selgroo. AWS, Microsoft Azure ja Google Cloud haldavad kõik suuri tsentraliseeritud universitete komplekse, kus asuvad miljonid serverid. Pilv on sisuliselt tsentraliseeritud infrastruktuur, mida renditakse hajutatud rakendustele.
Hajutatud süsteemid on alati odavamad kui tsentraliseeritud süsteemid.
Maksumus sõltub suuresti ulatusest ja töökoormusest. Väikeste juurutuste hajutatud käitamine on võrgustamise ja orkestreerimise üldkulude tõttu sageli kallim. Tsentraliseeritud rajatised võivad olla säästlikumad prognoositava ja stabiilse töökoormuse korral, samas kui hajutatud seadistused sobivad suurepäraselt hüppelise globaalse nõudluse korral.
Tsentraliseeritud andmekeskused ei suuda hajutatud süsteemide töökindlusega võistelda.
Kaasaegsed tsentraliseeritud rajatised saavutavad märkimisväärse käideolekuaja tänu N+1 või 2N koondamisele toites, jahutuses ja võrgus. Tier IV andmekeskused garanteerivad 99,995% käideldavuse, mis konkureerib paljude hajutatud juurutustega või ületab neid. Usaldusväärsus taandub inseneriinvesteeringutele, mitte ainult arhitektuurile.
Hajutatud andmetöötlus tähendab võrgu üldkulude tõttu aeglasemat jõudlust.
Hästi disainitud hajussüsteemid on globaalsete kasutajate jaoks sageli paremad kui tsentraliseeritud süsteemid, kuna need paigutavad arvutused päringute päritolukohale lähemale. Sellised tehnikad nagu vahemällu salvestamine, andmete jaotamine ja servaarvutus võivad muuta hajusad arhitektuurid kiiremaks kui üks tsentraliseeritud rajatis, mis teenindab ülemaailmset liiklust.
Valige hajutatud andmetöötlus, kui vajate massiivset horisontaalset skaleeritavust, geograafilist koondamist või käitate töökoormusi nagu suurandmete analüüs ja plokiahel, mis sobivad loomulikult detsentraliseeritud mudeliga. Valige tsentraliseeritud andmekeskused, kui vajate ranget füüsilist kontrolli, prognoositavat jõudlust, lihtsamat vastavust ja kõige haldamise operatiivset efektiivsust ühe katuse all. Paljud organisatsioonid ühendavad tänapäeval mõlemad, kasutades tsentraliseeritud hüperskaalapilvi, mis tuginevad sisemiselt hajutatud tarkvaramustritele.
Adaptiivne infrastruktuur kohandub dünaamiliselt muutuvate töökoormustega automatiseerimise ja reaalajas skaleerimise abil, samas kui staatiline infrastruktuuri disain tugineb fikseeritud, eelkonfigureeritud ressurssidele. Nende vahel valik sõltub töökoormuse varieeruvusest, eelarve prognoositavusest ja teie pilvekeskkonna tegevusküpsusest.
Andmeedastuse kitsaskohad aeglustavad masinõppe protsesse, piirates teabe liikumiskiirust salvestus-, mälu- ja arvutusressursside vahel, samas kui mudelarvutuse kitsaskohad tekivad siis, kui piiravaks teguriks saab graafikaprotsessori või protsessori töötlemisvõimsus. Erinevuse mõistmine aitab meeskondadel optimeerida taristukulusid ja koolituse tõhusust.
Andmeinfrastruktuuri kiht tegeleb toorandmete torujuhtmete salvestamise, töötlemise ja haldamisega, samas kui mudelitreeningu kiht keskendub algoritmide käitamisele masinõppe mudelite treenimiseks. Mõlemad on tehisintellekti süsteemides olulised, kuid täidavad arendustsüklis põhimõtteliselt erinevaid rolle.
Kasutaja ID alusel andmete killustamine jaotab kirjed unikaalsete kasutajaidentifikaatorite alusel prognoositavate juurdepääsumustrite jaoks, samas kui geograafilise asukoha killustamine jaotab andmed piirkondade kaupa, et minimeerida latentsust ja järgida andmete suveräänsuse seadusi. Mõlemad strateegiad lahendavad mastaabiprobleeme, kuid optimeerivad põhimõtteliselt erinevate prioriteetide jaoks.
Andmekanali optimeerimine keskendub toorandmete tõhusale liigutamisele ja teisendamisele analüüsi jaoks, samas kui mudelikanali optimeerimine lihtsustab masinõppemudelite koolitamist, valideerimist ja juurutamist. Mõlemad on skaleeritavate tehisintellekti süsteemide jaoks kriitilise tähtsusega, kuid on suunatud masinõppe elutsükli erinevatele etappidele.
