Nors triukšmo filtravimas pašalina nedidelius atsitiktinius svyravimus, kad išaiškintų pagrindinę duomenų rinkinio tendenciją, signalų išskyrimas iš išskirtinių verčių aktyviai ieško kraštutinių, izoliuotų duomenų taškų, kurie atskleidžia paslėptas anomalijas, kritines sistemos klaidas ar didelės vertės proveržius. Žinojimas, kada taikyti kiekvieną techniką, padeda išvengti netyčinio vertingiausių duomenų įžvalgų praradimo.
Procesas, kurio metu nustatomi ir analizuojami ekstremalūs, reti duomenų taškai, siekiant atskleisti kritines anomalijas ar paslėptas galimybes.
Sistemingas atsitiktinių, beprasmių foninių pokyčių pašalinimas, siekiant išskirti pagrindinę tendenciją duomenų rinkinyje.
| Funkcija | Signalų išskyrimas iš išskirtinių verčių | Triukšmo filtravimas |
|---|---|---|
| Pagrindinis tikslas | Atraskite vertingas paslėptas tiesas net ir esant dideliems duomenų nukrypimams | Pašalinkite beprasmius foninius variantus, kad atskleistumėte pagrindinę tendenciją. |
| Duomenų variacijos tikslas | Žemo dažnio, masyvūs šuoliai ir anomalijos | Aukšto dažnio, mažo masto atsitiktiniai svyravimai |
| Nukrypimų gydymas | Izoliuoja ir kruopščiai juos ištiria | Išlygina, apskaičiuoja vidurkį arba visiškai juos ištrina |
| Pagrindiniai algoritmai | Izoliacijos miškas, DBSCAN, Z balas, Tukey tvoros | Slenkamasis vidurkis, Butterworth filtras, Kalman filtras |
| Tipinis naudojimo atvejis | Kredito kortelių sukčiavimo ar įrangos gedimo nustatymas | Nuolatinio garso arba temperatūros jutiklio tiekimo stabilizavimas |
| Neteisingo taikymo rizika | Nepaisydami bendrų tendencijų, nematyti miško už medžių | Atsitiktinis svarbių proveržių ar ankstyvųjų įspėjamųjų ženklų ištrynimas |
Signalų išskyrimas iš išskirtinių verčių siekia nustatyti retus, ekstremalius duomenų taškus, nes jie dažnai atspindi reikšmingus įvykius, tokius kaip saugumo pažeidimai ar sistemos gedimai. Visiškai priešingai, triukšmo filtravimas duomenų svyravimus traktuoja kaip nepageidaujamas šiukšles, kurios užgožia tikrąją pagrindinę tendenciją. Kol pirmasis ieško adatos šieno kupetoje, antrasis tiesiog nuvalo dulkes nuo grindų.
Triukšmo filtravimas paprastai remiasi matematinėmis išlyginimo funkcijomis, kurios sujungia gretimus duomenų taškus, pvz., žemo dažnio arba slenkančio vidurkio filtrais. Signalo išskyrimas iš išskirtinių verčių naudoja artumo, tankio arba medžio pagrindu veikiantį mašininį mokymąsi, kad izoliuotų taškus, kurie yra toli nuo grupės. Tai reiškia, kad filtravimas sujungia duomenis, kad rastų harmoniją, o išskirtinių verčių išskyrimas sąmoningai skaido duomenis, kad surastų nesuderinamus taškus.
Triukšmo filtravimas pakeičia vertes visame duomenų rinkinyje, kad bendras vaizdas atrodytų aiškesnis ir nuoseklesnis. Išskirtinių verčių išskyrimas palieka didžiąją dalį duomenų nepakeistą, sutelkiant dėmesį tik į nedidelę viso imties procento dalį. Filtro taikymas savaime sumažina duomenų rinkinio dispersiją, o išskirtinių verčių paieška apima didelę dispersiją, siekiant rasti tiesą.
Triukšmo filtravimas suteikia vertės, nes pagerina standartinių verslo prognozavimo modelių tikslumą ir užtikrina, kad ataskaitų suvestinės būtų įskaitomos. Signalų išskyrimas iš išskirtinių reikšmių suteikia vertės, nes veikia kaip ankstyvojo įspėjimo radaras, rodantis katastrofiškas rizikas arba staigius, pelningus rinkos elgesio pokyčius. Viena užtikrina sklandų jūsų kasdienės veiklos vykdymą, o kita apsaugo jūsų verslą nuo staigaus žlugimo.
Kiekvienas duomenų rinkinio išskirtinumas yra tik triukšmas, kurį reikia ištrinti.
Toks mąstymas gali sugadinti analizės projektą. Nors kai kurie nukrypimai atsiranda dėl duomenų įvedimo klaidų, daugelis jų yra visiškai tikslūs nepaprastų įvykių įrašai, pavyzdžiui, itin turtingo kliento pirkimas ar staigus elektros tinklo gedimas, kurie suteikia didžiulę verslo įžvalgą.
Triukšmo filtravimas ir pašalinių verčių aptikimas iš esmės yra tas pats išankstinio apdorojimo žingsnis.
Jie atlieka priešingus tikslus. Triukšmo filtravimas veikia vienodai visame duomenų rinkinyje, kad nuslopintų atsitiktinius, nedidelius nukrypimus, o išskirtinių verčių aptikimas palieka pagrindinę duomenų dalį ramybėje, kad būtų galima aiškiai ieškoti didelių, lokalizuotų nukrypimų.
Slenkančio vidurkio filtro naudojimas yra visiškai saugus būdas tvarkyti išskirtis.
Paprastas slankiojo vidurkio filtras yra labai iškraipomas ekstremalių verčių. Užuot išskyręs išskirtinę vertę, slankiojo vidurkio filtras paskirsto savo poveikį gretimiems duomenų taškams, iškraipydamas kitaip tvarkingas duomenų eilutes.
Pažangūs mašininio mokymosi modeliai gali lengvai apdoroti triukšmingus duomenis be filtravimo.
Net ir moderniausi modeliai kenčia nuo „šiukšlių įvedimo – šiukšlių išvedimo“ taisyklės. Per didelis foninis triukšmas verčia algoritmus išmokti visiškai išgalvotus modelius, o tai sunaikina jų tikslumą, kai jie naudojami gamybinėje aplinkoje.
Rinkitės triukšmo filtravimą, kai reikia išvalyti netvarkingus, vibruojančius jutiklių duomenis arba stabilizuoti chaotišką laiko eilutę, kad matytumėte aiškią kryptinę tendenciją. Rinkitės signalo išskyrimą iš išskirtinių reikšmių, kai ieškote retų, didelės rizikos įvykių, tokių kaip finansinis sukčiavimas, sistemų įsilaužimai ar medicininės anomalijos, kai kraštutinis duomenų taškas yra vertingiausia viso rinkinio dalis.
Astrologinės prognozės susieja dangaus ciklus su žmonių patirtimi siekiant simbolinės reikšmės, o statistinės prognozės analizuoja empirinius istorinius duomenis, kad įvertintų būsimas skaitines vertes. Šiame palyginime nagrinėjamas skirtumas tarp senovinės, archetipais pagrįstos asmeninių apmąstymų sistemos ir modernios, duomenimis pagrįstos metodologijos, naudojamos objektyviam sprendimų priėmimui versle ir moksle.
Šis palyginimas nagrinėja intriguojančią prarają tarp senovinių dangaus stebėjimų ir šiuolaikinės prognozinės analizės. Astrologiniai tranzitai naudoja planetų ciklus asmeninio augimo fazėms interpretuoti, o gyvenimo įvykių tikimybių modeliai remiasi dideliais duomenimis ir statistiniais algoritmais, kad numatytų konkrečius etapus, tokius kaip karjeros pokyčiai ar sveikatos priežiūros poreikiai.
Nors retrospektyvinė analizė veikia kaip organizacijos galinio vaizdo veidrodis, analizuodama istorinius įrašus, kad suprastų praeities sėkmes ir nesėkmes, ateities prognozavimo modeliai žvelgia pro priekinį stiklą, derindami statistinius algoritmus ir mašininį mokymąsi, kad numatytų būsimus rinkos pokyčius, klientų veiksmus ir veiklos kliūtis.
Pasirinkimas tarp aukšto dažnio duomenų ir apibendrintų duomenų yra esminis kompromisas analitikoje. Nors neapdoroti, per sekundę gaunami sandoriai ir jutiklių srautai suteikia neprilygstamą tiesioginio elgesio ir rinkos mikrostruktūrų matomumą, suspausti laiko apibendrinimai pašalina didžiulį statistinį triukšmą ir didelius infrastruktūros poreikius, kad būtų galima atskleisti aiškias, struktūrines ilgalaikes tendencijas.
Pasirinkimas tarp automatinio modelių sekimo ir rankinio eksperimentų sekimo iš esmės lemia duomenų mokslo komandos greitį ir atkuriamumą. Nors automatizavimas naudoja specializuotą programinę įrangą, kad sklandžiai užfiksuotų kiekvieną hiperparametrą, metriką ir artefaktą, rankinis sekimas priklauso nuo žmogaus kruopštumo naudojant skaičiuokles arba „markdown“ failus, todėl reikia rasti griežtą kompromisą tarp sąrankos greičio ir ilgalaikio keičiamo tikslumo.
