Užklausų lygio deduplikacija apdoroja kiekvieną gaunamą užklausą atskirai, kad realiuoju laiku pašalintų dublikatus, o paketų lygio deduplikacija sugrupuoja kelias užklausas ir pašalina dublikatus po sukaupimo. Abu metodai sumažina duomenų dubliavimą, tačiau labai skiriasi delsos laiku, išteklių naudojimu ir idealiais naudojimo atvejais.
Realaus laiko metodas, kuris tikrina ir pašalina pasikartojančias užklausas joms gavus, prieš pradedant bet kokį apdorojimą.
Atidėtas metodas, kai užklausos renkamos laikui bėgant ir pašalinamos pasikartojančios užklausos per suplanuotą apdorojimo langą.
| Funkcija | Užklausos lygio deduplikacija | Paketinio lygio duplikacijų šalinimas |
|---|---|---|
| Apdorojimo modelis | Realiuoju laiku, pagal užklausą | Suplanuota, pagal partiją |
| Vėlavimo poveikis | Beveik nulinis papildomas delsos laikas | Nuo minučių iki valandų vėlavimo |
| Sandėliavimo reikalavimai | Minimalus atminties naudojimas | Reikalingas nuolatinis duomenų saugojimas eilėje |
| Deduplikacijos tikslumas | Apribota iki neseniai atmintyje esančio lango | Didelis tikslumas visoje partijos istorijoje |
| Pralaidumo efektyvumas | Mažesnis pralaidumas vienai užklausai | Didesnis agregatų našumas |
| Įgyvendinimo sudėtingumas | Vidutinis, reikalingos greitos paieškos struktūros | Aukštesnis, reikalingas eilių valdymas ir planavimas |
| Geriausiai tinka | API, žiniatinklio kabliai, realaus laiko sistemos | Duomenų srautai, analitika, ETL |
| Gedimų atkūrimas | Praranda atminties būseną gedimo atveju | Paketą galima atkurti iš saugyklos |
Užklausos lygio deduplikacija perima kiekvieną užklausą įėjimo taške ir patikrina ją pagal neseniai matytų identifikatorių įrašą. Jei randamas atitikmuo, užklausa nedelsiant panaikinama arba sujungiama. Paketinio lygio deduplikacija taiko priešingą metodą, leisdama užklausoms kauptis eilėje arba paruošimo srityje, o tada, uždarius paketinį langą, paleidžiant deduplikacijos etapą visai kolekcijai.
Esminis šių dviejų metodų prieštaravimas priklauso nuo greičio ir mastelio santykio. Užklausų lygio sistemos prideda tik mikrosekundes papildomo laiko vienam iškvietimui, todėl jos idealiai tinka, kai vartotojai tikisi greitų atsakymų. Paketinio lygio sistemos aukoja šį neatidėliotinumą mainais už daug daugiau įrašų apdorojimą vienam skaičiavimo vienetui, nes deduplikacijos logiką galima optimizuoti masinėms operacijoms, o ne vieno įrašo paieškai.
Kadangi užklausų lygio deduplikacija paprastai naudoja ribotą atmintį, ji gali aptikti tik tuos dublikatus, kurie atsiranda tame lange. Dublikatas, atsiradęs po kelių valandų, bus aptiktas. Paketų lygio deduplikacija lygina duomenis su visu sukauptu duomenų rinkiniu, todėl aptinka dublikatus, neatsižvelgiant į tai, kada jie pirmą kartą atsirado, o tai svarbu, kai sistemos bando iš naujo arba pakartotinai atkuria užklausas ilgą laiką.
Norint dideliu mastu vykdyti užklausų lygio deduplikaciją, reikalingos greitos, paskirstytos atminties saugyklos, tokios kaip „Redis“ ar „Memcached“, kurios gali būti brangios esant dideliems užklausų kiekiams. Paketinio lygio deduplikacija remiasi pigesne disko saugykla ir suplanuotais skaičiavimais, dažnai vykdomais vietoje arba ne piko valandomis. Sąnaudų profilis palankesnis paketiniam apdorojimui, kai apdorojami dideli kiekiai ir mažai skubūs darbo krūviai.
Kai užklausų lygio sistema sugenda, jos atminties deduplikacijos būsena prarandama, o tai reiškia, kad jau išfiltruoti dublikatai gali būti praleisti po perkrovimo. Paketinio lygio sistemos čia yra atsparesnės, nes neapdorotos užklausos yra saugomos patvarioje saugykloje ir jas galima tiesiog apdoroti iš naujo. Dėl to paketinis deduplikavimas yra saugesnis pasirinkimas darbo krūviams, kai dublikatų apdorojimas yra brangus arba rizikingas.
Užklausos lygio deduplikacija suranda kiekvieną dublikatą, nesvarbu, kada jis gaunamas.
Praktiškai užklausų lygio sistemos aptinka dublikatus tik savo atminties lange. Kai įrašas pasensta, pakartotinai išsiųsta užklausa bus laikoma nauja, todėl dauguma gamybinių sistemų susieja ją su antriniu paketų lygio perdavimu, kad būtų užtikrintas išsamumas.
Paketinio lygio deduplikavimas visada yra lėtesnis ir todėl blogesnis.
Vėlavimas nėra vienintelis svarbus rodiklis. Paketinio lygio deduplikacija dažnai užtikrina geresnį ekonomiškumą, didesnį tikslumą ir didesnį atsparumą gedimams, todėl tai yra geresnis pasirinkimas daugeliui didelio masto duomenų darbo eigų.
Turite pasirinkti vieną metodą visai sistemai.
Daugumoje brandžių debesijos architektūrų derinami abu šie būdai. Užklausų lygio deduplikacija tvarko karštąjį kelią, kad būtų galima nedelsiant filtruoti, o paketų lygio deduplikacija veikia kaip saugos tinklas, sulaikantis viską, kas praslydo pro šalį.
„Bloom“ filtrai užtikrina idealiai tikslų užklausų lygio deduplikavimą.
„Bloom“ filtrai gali pateikti klaidingai teigiamus rezultatus, o tai reiškia, kad kai kurios teisėtos užklausos yra atmestos. Jie yra tikimybiniai, todėl sistemose, kurios juos naudoja, paprastai pridedamas antrinis patvirtinimo žingsnis svarbioms operacijoms.
Paketinio lygio deduplikacijos negalima pritaikyti prie realaus laiko darbo krūvių.
Naudojant šiuolaikines srautinio apdorojimo sistemas, tokias kaip „Apache Flink“ ar „Spark Structured Streaming“, paketinio stiliaus deduplikacija gali veikti mikropaketuose su vos kelių sekundžių vėlavimais, panaikinant skirtumą tarp šių dviejų metodų.
Rinkitės užklausų lygio deduplikaciją, kai jūsų sistemai reikalingi atsakymai realiuoju laiku, o pasikartojančios užklausos eikvotų brangius skaičiavimo išteklius arba sukeltų vartotojui matomų problemų, pvz., mokėjimo API arba žiniatinklio kablių imtuvuose. Rinkitės paketų lygio deduplikaciją, kai apdorojate didelius duomenų kiekius, kai tam tikras vėlavimas yra priimtinas ir jums reikia kruopštaus dublikatų aptikimo per ilgus laiko intervalus, pvz., analizės įrašymo ar žurnalų apdorojimo srautuose.
„Kafka“ ir „Flink“ sudaro paskirstytą srautinio apdorojimo ekosistemą realaus laiko duomenų srautams, o apdorojimas atmintyje pagreitina analizę, nes duomenys saugomi tik RAM atmintyje – kiekvienas iš jų tenkina iš esmės skirtingus architektūrinius greičio, mastelio ir tvarumo poreikius.
„Netflix“ vidinė mašininio mokymosi platforma siūlo glaudžiai integruotus, didelio masto įrankius, skirtus transliacijų suasmeninimui, o nepriklausomi mašininio mokymosi įrankiai suteikia mažesnėms komandoms lankstumo ir kontrolės. Pasirinkimas priklauso nuo masto, pritaikymo poreikių ir esamų investicijų į infrastruktūrą.
Adaptyvi infrastruktūra dinamiškai prisitaiko prie kintančių darbo krūvių, naudodama automatizavimą ir mastelio keitimą realiuoju laiku, o statinės infrastruktūros projektavimas remiasi fiksuotais, iš anksto sukonfigūruotais ištekliais. Pasirinkimas priklauso nuo darbo krūvio kintamumo, biudžeto nuspėjamumo ir veikimo brandos jūsų debesijos aplinkoje.
Apkrovos balansavimas mašininio mokymosi sistemose valdo GPU reikalaujančius išvadų ir mokymo darbo krūvius specializuotoje įrangoje, o paprastas API užklausų apdorojimas paskirsto nedidelį HTTP srautą bendrosios paskirties serveriuose. Jie labai skiriasi sudėtingumu, išteklių poreikiu ir maršruto parinkimo išmanumu.
Atsparumas gedimams proaktyviai perkelia darbo krūvius į sveikas sistemas, kol vartotojai nepastebi problemų, o sistemos gedimų atveju iš naujo paleidžiamos sistemos reaktyviai atkuria paslaugas po netikėtų gedimų. Abu metodai siekia palaikyti prieinamumą, tačiau iš esmės skiriasi laiku, architektūros sudėtingumu ir poveikiu vartotojams.
