Realaus laiko sprendimų maršrutizavimo sistema apdoroja duomenis ir reaguoja į juos per milisekundes, todėl idealiai tinka skubioms operacijoms, tokioms kaip sukčiavimo aptikimas ir dinaminis kainodaros nustatymas. Paketinio apdorojimo sistemos tvarko didelius duomenų kiekius suplanuotais intervalais, puikiai atlikdamos išsamią analizę, ataskaitų teikimą ir užduotis, kurioms delsa yra priimtina.
Sistema, kuri akimirksniu įvertina gaunamus duomenis ir nukreipia veiksmus ar sprendimus pagal iš anksto nustatytas taisykles ir mašininio mokymosi modelius.
Skaičiavimo metodas, kai duomenys renkami laikui bėgant ir apdorojami dideliais suplanuotais fragmentais, o ne nuolat.
| Funkcija | Realaus laiko sprendimų maršrutizavimas | Paketinio apdorojimo sistemos |
|---|---|---|
| Apdorojimo delsa | Milisekundės į sekundes | Minutės iki valandų |
| Duomenų apimties tvarkymas | Ribota atminties ir srauto greičio | Lengvai keičiasi iki petabaitų |
| Tipiniai naudojimo atvejai | Sukčiavimo aptikimas, dinaminis kainodaros nustatymas, daiktų interneto įspėjimai | ETL darbai, ataskaitų teikimas, modelių mokymai |
| Sąnaudų efektyvumas | Didesnė vieno įvykio kaina dėl nuolat įjungtų išteklių | Mažesnės išlaidos vienam įrašui dėl masininio apdorojimo |
| Infrastruktūros reikalavimai | Atmintyje esančios saugyklos, srautiniai procesoriai, mažo delsos tinklai | Paskirstyta saugykla, klasterių skaičiavimas, suplanuotos užduotys |
| Sąrankos sudėtingumas | Aukštas; reikalauja kruopštaus vamzdynų derinimo | Vidutinis; yra gerai žinomų įrankių |
| Gedimų tolerancija | Sudėtinga; reikia tiksliai vieną kartą atliekamos semantikos | Subrendęs; pakartotiniai bandymai ir kontroliniai taškai yra standartiniai |
| Išvesties šviežumas | Visada aktualu | Tik toks pat šviežias, kaip ir paskutinė surinkta partija |
Realaus laiko sprendimų nukreipimas yra sukurtas siekiant neatidėliotinumo, dažnai grąžinant sprendimus per mažiau nei 50 milisekundžių, kad tolesni veiksmai, pvz., sandorio blokavimas ar kainos koregavimas, galėtų būti atlikti dar prieš vartotojui pastebint bet kokį vėlavimą. Paketinio apdorojimo sistemos veikia visiškai skirtingais laiko intervalais, kai užduotis gali trukti 30 minučių arba kelias valandas, priklausomai nuo duomenų rinkinio dydžio. Jei jūsų programai reikalingas momentinis grįžtamasis ryšys, paketinis apdorojimas tiesiog negali konkuruoti. Tačiau jei rezultatų galite palaukti iki rytojaus ryto, paketinis apdorojimas siūlo daug daugiau gylio kiekvienam skaičiavimo ciklui.
Realaus laiko duomenų srauto valdymas reiškia serverių šildymą visą parą, o tai reiškia didesnes bazinės infrastruktūros sąnaudas net ir ramybės periodais. Paketinės sistemos naudojasi masto ekonomija, nes jos gali paleisti didelius klasterius tik tada, kai reikia, ir vėliau juos išjungti, mokėdamos tik už faktinį skaičiavimo laiką. Organizacijoms, apdorojančioms milijonus įvykių per sekundę, realaus laiko sąnaudos gali tapti didelės. Paketinis apdorojimas išlieka pigesnis pasirinkimas, kai delsa nėra svarbi, ypač organizacijoms, kurios jau investavo į debesies duomenų saugyklas.
Realaus laiko sprendimų maršrutizavimas puikiai tinka situacijose, kai svarbi kiekviena sekundė, pavyzdžiui, mokėjimų autorizavimas, tinklo įsilaužimų aptikimas ir suasmenintas skelbimų kainų siūlymas. Paketinio apdorojimo sistemos dominuoja tokiuose darbo eigose kaip mėnesinis finansinis suderinimas, klientų kaitos analizė ir mašininio mokymosi modelių mokymas pagal istorinius duomenis. Daugelis įmonių iš tikrųjų naudoja abi architektūras kartu, naudodamos realaus laiko architektūrą neatidėliotiniems sprendimams priimti ir paketinį apdorojimą gilesnei retrospektyviai analizei. Pasirinkimas retai priklauso nuo to, kuri yra geresnė apskritai, o nuo to, kuri atitinka konkrečią verslo problemą.
Realaus laiko sistemoms reikalingas kruopštus projektavimas, susijęs su būsenos valdymu, tiksliu pateikimu ir atgalinio slėgio valdymu, o tai padidina reikšmingas eksploatacines išlaidas. Paketinės sistemos naudoja dešimtmečius brandžius įrankius, todėl daugumai komandų jas lengviau stebėti, derinti ir keisti. Maža inžinierių komanda gali sunkiai prižiūrėti realaus laiko srautą gamybos mastu, o ta pati komanda galėtų valdyti paketinę aplinką naudodama standartinius įrankius. Sudėtingumas dažnai lemia sprendimus labiau nei gryni našumo reikalavimai.
Kadangi realaus laiko maršrutizavimas veikia duomenis iš karto juos gaunant, sprendimai atspindi naujausią pasaulio padėtį, o tai labai svarbu taikant sukčiavimo taisykles, kurios keičiasi kas valandą. Paketinio apdorojimo sistemos veikia su momentinėmis kopijomis, o tai reiškia, kad įžvalgos gali būti kelių valandų ar net kelių dienų senumo, kol pasiekia suinteresuotąsias šalis. Tačiau paketinis apdorojimas dažnai duoda tikslesnius rezultatus, nes galima taikyti sudėtingesnį patvirtinimą, sujungimus tarp visų duomenų rinkinių ir sudėtingesnius modelius be laiko spaudimo. Naujumas ir tikslumas dažnai duoda priešingų rezultatų.
Realiojo laiko apdorojimas visada yra tikslesnis nei paketinis apdorojimas.
Tikslumas priklauso nuo modelio ir duomenų kokybės, o ne nuo apdorojimo stiliaus. Paketinės sistemos dažnai pateikia tikslesnius rezultatus, nes jos gali atlikti sudėtingesnius patikrinimus ir algoritmus be laiko apribojimų. Realaus laiko sistemos kartais aukoja modelio sudėtingumą dėl greičio.
Paketinis apdorojimas yra pasenęs ir jį keičia srautinis perdavimas.
Paketinis apdorojimas išlieka dominuojančiu metodu daugumai įmonių analizės, ataskaitų teikimo ir mašininio mokymosi mokymo darbo krūvių. Srautinis apdorojimas papildo, o ne pakeičia paketinį apdorojimą, ir šie du metodai dažnai naudojami kartu vadinamojoje lambda arba kappa architektūroje.
Realusis laikas reiškia, kad duomenys apdorojami akimirksniu, be jokio vėlavimo.
Net realaus laiko sistemos turi tam tikrą vėlavimą, paprastai matuojamą milisekundėmis. Šis terminas reiškia apdorojimą duomenims atvykus, o ne laukiant suplanuoto laiko, tačiau, atsižvelgiant į tinklo ir skaičiavimo apkrovas, nė viena sistema nėra tikrai momentinė.
Paketinės sistemos visiškai negali apdoroti srautinių duomenų.
Šiuolaikinės paketinės sistemos, tokios kaip „Apache Spark Structured Streaming“, gali apdoroti duomenis mikropartijomis, taip ištrindamos ribą tarp šių dviejų paradigmų. Daugelis vadinamųjų srautinio apdorojimo sistemų iš tikrųjų atlieka labai greitas paketines operacijas „slaptai“.
Sprendimų nukreipimas realiuoju laiku yra per brangus mažoms įmonėms.
Debesijos pagrindu veikiančios paslaugos, tokios kaip „AWS Kinesis“, „Google Pub/Sub“ ir „Azure Stream Analytics“, suteikė galimybę apdoroti duomenis realiuoju laiku nedideliu mastu. Mažos įmonės gali mokėti tik už įvykius, kuriuos jos apdoroja, taip išvengdamos didelių išankstinių investicijų į infrastruktūrą.
Rinkitės realiuoju laiku atliekamų sprendimų nukreipimą, kai jūsų verslo rezultatai priklauso nuo veiksmų milisekundžių tikslumu, pavyzdžiui, sukčiavimo prevencijos, algoritminės prekybos ar daiktų interneto valdomos automatizacijos srityse. Rinkitės paketinio apdorojimo sistemas, kai jums reikia analizuoti didelius istorinius duomenų rinkinius ataskaitų teikimo, mokymo ar atitikties tikslais, kai laukimo valandos yra priimtinos. Dauguma brandžių organizacijų diegia abu, leisdamos kiekvienai architektūrai tvarkyti darbo krūvius, kuriems ji buvo sukurta.
„Kafka“ ir „Flink“ sudaro paskirstytą srautinio apdorojimo ekosistemą realaus laiko duomenų srautams, o apdorojimas atmintyje pagreitina analizę, nes duomenys saugomi tik RAM atmintyje – kiekvienas iš jų tenkina iš esmės skirtingus architektūrinius greičio, mastelio ir tvarumo poreikius.
„Netflix“ vidinė mašininio mokymosi platforma siūlo glaudžiai integruotus, didelio masto įrankius, skirtus transliacijų suasmeninimui, o nepriklausomi mašininio mokymosi įrankiai suteikia mažesnėms komandoms lankstumo ir kontrolės. Pasirinkimas priklauso nuo masto, pritaikymo poreikių ir esamų investicijų į infrastruktūrą.
Adaptyvi infrastruktūra dinamiškai prisitaiko prie kintančių darbo krūvių, naudodama automatizavimą ir mastelio keitimą realiuoju laiku, o statinės infrastruktūros projektavimas remiasi fiksuotais, iš anksto sukonfigūruotais ištekliais. Pasirinkimas priklauso nuo darbo krūvio kintamumo, biudžeto nuspėjamumo ir veikimo brandos jūsų debesijos aplinkoje.
Apkrovos balansavimas mašininio mokymosi sistemose valdo GPU reikalaujančius išvadų ir mokymo darbo krūvius specializuotoje įrangoje, o paprastas API užklausų apdorojimas paskirsto nedidelį HTTP srautą bendrosios paskirties serveriuose. Jie labai skiriasi sudėtingumu, išteklių poreikiu ir maršruto parinkimo išmanumu.
Atsparumas gedimams proaktyviai perkelia darbo krūvius į sveikas sistemas, kol vartotojai nepastebi problemų, o sistemos gedimų atveju iš naujo paleidžiamos sistemos reaktyviai atkuria paslaugas po netikėtų gedimų. Abu metodai siekia palaikyti prieinamumą, tačiau iš esmės skiriasi laiku, architektūros sudėtingumu ir poveikiu vartotojams.
