Reaalajas otsustusmarsruutimine töötleb andmeid ja tegutseb nende põhjal millisekundite jooksul, mistõttu on see ideaalne ajatundlike toimingute jaoks, nagu pettuste avastamine ja dünaamiline hinnakujundus. Pakktöötlussüsteemid töötlevad suuri andmemahtusid ajastatud intervallidega, saavutades suurepäraseid tulemusi süvaanalüüsi, aruandluse ja ülesannete puhul, mille puhul latentsus on vastuvõetav.
Süsteem, mis hindab sissetulevaid andmeid koheselt ja suunab tegevused või otsused etteantud reeglite ja masinõppe mudelite põhjal.
Arvutusmeetod, mis kogub andmeid aja jooksul ja töötleb neid suurte ajastatud tükkidena, mitte pidevalt.
| Funktsioon | Reaalajas otsuste marsruutimine | Partiitöötlussüsteemid |
|---|---|---|
| Töötlemise latentsusaeg | Millisekundid sekunditeks | Minutitest tundideni |
| Andmemahu käitlemine | Piiratud mälu ja voogedastuskiiruse poolt | Skaleerub hõlpsalt petabaitidesse |
| Tüüpilised kasutusjuhud | Pettuste avastamine, dünaamiline hinnakujundus, IoT-hoiatused | ETL-tööd, aruandlus, mudelikoolitus |
| Kulutõhusus | Kõrgem sündmuse hind pidevalt sisse lülitatud ressursside tõttu | Madalamad kirjepõhised kulud hulgi töötlemise kaudu |
| Taristu nõuded | Mälusisesed salvestusruumid, voogedastusprotsessorid, madala latentsusega võrgud | Hajutatud salvestusruum, klastripõhine andmetöötlus, ajastatud tööd |
| Seadistamise keerukus | Kõrge; nõuab torujuhtmete hoolikat häälestamist | Mõõdukas; olemas on hästi väljakujunenud tööriistad |
| Vea taluvus | Keeruline; vajab täpselt ühe korra semantikat | Küps; uuesti proovimine ja kontrollpunktid on standardsed |
| Väljundi värskus | Alati ajakohane | Ainult sama värske kui viimane komplekteeritud partii |
Reaalajas otsuste marsruutimine on loodud koheseks tegutsemiseks, tagastades otsused sageli vähem kui 50 millisekundi jooksul, et järgnevad toimingud, nagu tehingu blokeerimine või hinna muutmine, saaksid toimuda enne, kui kasutaja viivitust märkab. Pakktöötlussüsteemid töötavad täiesti erinevatel ajatelgedel, kus töö võib kesta 30 minutit või mitu tundi, olenevalt andmestiku suurusest. Kui teie rakendus vajab kohest tagasisidet, ei suuda partiitöötlus lihtsalt konkureerida. Kui aga saate tulemusi oodata homse hommikuni, pakub partiitöötlus arvutustsükli kohta palju rohkem sügavust.
Reaalajas torujuhtme käitamine tähendab serverite ööpäevaringset soojana hoidmist, mis tähendab kõrgemaid baasinfrastruktuuri kulusid isegi vaiksetel perioodidel. Partiitöötlussüsteemid saavad kasu mastaabisäästust, kuna nad saavad suuri klastreid käivitada ainult vajadusel ja need pärast sulgeda, makstes ainult tegeliku arvutusaja eest. Organisatsioonide jaoks, mis töötlevad miljoneid sündmusi sekundis, võivad reaalajas kulud muutuda märkimisväärseks. Partiitöötlus jääb odavamaks valikuks, kui latentsus pole kriitilise tähtsusega, eriti organisatsioonide jaoks, kes on juba investeerinud pilveandmeladudesse.
Reaalajas otsuste marsruutimine särab stsenaariumides, kus iga sekund on oluline, näiteks maksete autoriseerimine, võrgu sissetungimise tuvastamine ja isikupärastatud reklaamide pakkumine. Pakktöötlussüsteemid domineerivad töövoogudes, nagu igakuine finantsarvestus, klientide voolavuse analüüs ja masinõppe mudelite treenimine ajalooliste andmete põhjal. Paljud ettevõtted käitavad tegelikult mõlemat arhitektuuri kõrvuti, kasutades reaalajas töötlemist koheste otsuste tegemiseks ja pakktöötlust sügavama tagasiulatuva analüüsi jaoks. Valik taandub harva sellele, kumb on üldiselt parem, vaid pigem sellele, kumb sobib konkreetse äriprobleemiga.
Reaalajas süsteemid nõuavad hoolikat inseneritööd olekuhalduse, täpselt üheaegse edastuse ja vasturõhu käsitlemise osas, mis lisab märkimisväärseid tegevuskulusid. Partiitöötlussüsteemid saavad kasu aastakümnete pikkusest küpsest tööriistakomplektist, mis muudab nende jälgimise, silumise ja skaleerimise enamiku meeskondade jaoks lihtsamaks. Väikesel insenerimeeskonnal võib olla raskusi reaalajas torujuhtme haldamisega tootmismastaabis, samas kui sama meeskond saaks hallata partiitöötluskeskkonda valmistööriistadega. Otsuseid mõjutab sageli keerukus rohkem kui toored jõudlusnõuded.
Kuna reaalajas marsruutimine mõjutab andmeid kohe, kui need saabuvad, peegeldavad otsused maailma kõige värskemat olukorda, mis on kriitilise tähtsusega pettusevastaste eeskirjade puhul, mis muutuvad iga tunni tagant. Partiitöötlussüsteemid töötavad hetktõmmistega, mis tähendab, et ülevaated võivad sidusrühmadeni jõudes olla tundide või päevade vanad. Siiski annab partiitöötlus sageli täpsemaid tulemusi, kuna see võimaldab rakendada põhjalikumat valideerimist, liitmisi täielike andmekogumite vahel ja keerukamaid mudeleid ilma ajalise surveta. Värskus ja täpsus tõmbuvad sageli vastandlikes suundades.
Reaalajas töötlemine on alati täpsem kui partiitöötlus.
Täpsus sõltub mudelist ja andmete kvaliteedist, mitte töötlemisstiilist. Partiisüsteemid annavad sageli täpsemaid tulemusi, kuna need suudavad ajapiiranguteta käivitada ulatuslikumaid valideerimisi ja keerukamaid algoritme. Reaalajas süsteemid ohverdavad mõnikord mudeli keerukuse kiiruse nimel.
Pakktöötlus on aegunud ja asendatud voogedastusega.
Pakktöötlus jääb enamiku ettevõtte analüüsi, aruandluse ja masinõppe koolituskoormuste puhul domineerivaks lähenemisviisiks. Voogesitus täiendab, mitte ei asenda partiitöötlust, ja neid kahte kasutatakse sageli koos nn lambda- või kappa-arhitektuuris.
Reaalajas tähendab, et andmeid töödeldakse koheselt ja ilma viivituseta.
Isegi reaalajas süsteemidel on teatav latentsus, mida tavaliselt mõõdetakse millisekundites. See termin viitab töötlemisele andmete saabumisel, mitte ajastatud akna ootamisele, kuid võrgu ja arvutuskoormuse tõttu pole ükski süsteem tõeliselt hetkeline.
Partiisüsteemid ei suuda voogedastusandmeid üldse käsitleda.
Kaasaegsed partiitöötlusraamistikud, näiteks Apache Spark Structured Streaming, suudavad andmeid töödelda mikropartiidena, hägustades kahe paradigma vahelist piiri. Paljud niinimetatud voogedastussüsteemid teostavad tegelikult väga kiireid partiitöötlustoiminguid kapoti all.
Reaalajas otsuste suunamine on väikeettevõtete jaoks liiga kulukas.
Pilvepõhised teenused nagu AWS Kinesis, Google Pub/Sub ja Azure Stream Analytics on muutnud reaalajas töötlemise kättesaadavaks mõõdukas ulatuses. Väikeettevõtted saavad maksta ainult nende sündmuste eest, mida nad ise töötlevad, vältides seeläbi suuri esialgseid taristuinvesteeringuid.
Valige reaalajas otsuste marsruutimine, kui teie äritulemus sõltub millisekundite täpsusega tegutsemisest, näiteks pettuste ennetamine, algoritmiline kauplemine või asjade interneti käivitatav automatiseerimine. Valige partiitöötlussüsteemid, kui teil on vaja analüüsida suuri ajaloolisi andmekogumeid aruandluse, koolituse või vastavuse eesmärgil, kus ooteajad on vastuvõetavad. Enamik küpsemaid organisatsioone juurutab lõpuks mõlemad, lastes mõlemal arhitektuuril hallata töökoormust, milleks see on loodud.
Adaptiivne infrastruktuur kohandub dünaamiliselt muutuvate töökoormustega automatiseerimise ja reaalajas skaleerimise abil, samas kui staatiline infrastruktuuri disain tugineb fikseeritud, eelkonfigureeritud ressurssidele. Nende vahel valik sõltub töökoormuse varieeruvusest, eelarve prognoositavusest ja teie pilvekeskkonna tegevusküpsusest.
Andmeedastuse kitsaskohad aeglustavad masinõppe protsesse, piirates teabe liikumiskiirust salvestus-, mälu- ja arvutusressursside vahel, samas kui mudelarvutuse kitsaskohad tekivad siis, kui piiravaks teguriks saab graafikaprotsessori või protsessori töötlemisvõimsus. Erinevuse mõistmine aitab meeskondadel optimeerida taristukulusid ja koolituse tõhusust.
Andmeinfrastruktuuri kiht tegeleb toorandmete torujuhtmete salvestamise, töötlemise ja haldamisega, samas kui mudelitreeningu kiht keskendub algoritmide käitamisele masinõppe mudelite treenimiseks. Mõlemad on tehisintellekti süsteemides olulised, kuid täidavad arendustsüklis põhimõtteliselt erinevaid rolle.
Kasutaja ID alusel andmete killustamine jaotab kirjed unikaalsete kasutajaidentifikaatorite alusel prognoositavate juurdepääsumustrite jaoks, samas kui geograafilise asukoha killustamine jaotab andmed piirkondade kaupa, et minimeerida latentsust ja järgida andmete suveräänsuse seadusi. Mõlemad strateegiad lahendavad mastaabiprobleeme, kuid optimeerivad põhimõtteliselt erinevate prioriteetide jaoks.
Andmekanali optimeerimine keskendub toorandmete tõhusale liigutamisele ja teisendamisele analüüsi jaoks, samas kui mudelikanali optimeerimine lihtsustab masinõppemudelite koolitamist, valideerimist ja juurutamist. Mõlemad on skaleeritavate tehisintellekti süsteemide jaoks kriitilise tähtsusega, kuid on suunatud masinõppe elutsükli erinevatele etappidele.
