Nors koreliacijos analizė matuoja dviejų kintamųjų ryšio tiesinį stiprumą ir kryptį, vektorinė projekcija nustato, kiek vienas daugiamatis vektorius sutampa su kito krypties keliu. Pasirinkimas tarp jų lemia, ar analitikas atskleidžia paprastus statistinius ryšius, ar transformuoja daugiamatę erdvę pažangiems mašininio mokymosi srautams.
Statistinis metodas, naudojamas dviejų skirtingų duomenų sekų ryšio stiprumui ir krypčiai įvertinti.
Geometrinė operacija, kuri susieja vieną vektorių su kitu, suskaidydama jį į krypties komponentus.
| Funkcija | Koreliacijos analizė | Vektorinė projekcija |
|---|---|---|
| Pagrindinė matematikos sritis | Klasikinė statistika ir tikimybė | Tiesinė algebra ir erdvinė geometrija |
| Išvesties formatas | Vienmatis bematis skaliaras tarp -1 ir 1 | Naujas vektorius arba mastelio keitimo ilgio reikšmė |
| Duomenų dimensija | Paprastai apdoroja vienmačių masyvų poras | Veikia daugiamatėse koordinačių erdvėse |
| Skalės jautrumas | Dėl standartizacijos nepriklauso nuo duomenų mastelio | Labai priklauso nuo vektorių dydžių ir ilgių |
| Pagrindinis šiuolaikinis naudojimo atvejis | Žvalgomųjų duomenų tyrimas ir hipotezių tikrinimas | LLM įterpimai, veido atpažinimas ir grafika |
| Geometrinis aiškinimas | Kampo tarp vidurkio centruotų vektorių kosinusas | Vieno vektoriaus metamas šešėlis ant kito bazinės linijos |
Koreliacinė analizė sutelkia dėmesį į duomenų standartizavimą, kovariaciją padalijus iš standartinių nuokrypių sandaugos, taip sukuriant skalės neturinčią metriką. Vektorinė projekcija vengia šio standartizavimo, vektoriaus komponentus daugindama tiesiogiai per skaliarinę sandaugą, kad vieną liniją susietų su kita. Tai reiškia, kad koreliacija nagrinėja standartizuotą elgsenos sinchronizavimą, o projekcija – į absoliutų krypties suderinimą apibrėžtoje koordinačių sistemoje.
Dirbant su koreliacijos metodu, paprastai nagrinėjama, kaip du kintamieji kinta kartu laikui bėgant arba tarp imčių, neatsižvelgiant į jų pradinius vienetus. Vektorinė projekcija klesti didelėse daugiamatėse erdvėse, pavyzdžiui, sekant semantinę reikšmę dirbtinio intelekto teksto įterpimuose, kuriuose yra tūkstančiai dimensijų. Projekcija atsižvelgia į vektorių ilgį, o tai reiškia, kad didesni dydžiai pakeičia galutinę erdvinę išvestį, o koreliacijos juostelės visiškai išnyksta.
Duomenų mokslininkai naudoja koreliaciją ankstyvojo duomenų valymo metu, kad aptiktų nereikalingas funkcijas arba patvirtintų pagrindines verslo prielaidas, pavyzdžiui, ar reklamos išlaidos yra susijusios su interneto srautu. Vektorinė projekcija tarnauja kaip darbo įrankis sudėtingiems algoritmams, padedantis sumažinti duomenų triukšmą pagrindinių komponentų analizėje arba apskaičiuoti semantinį panašumą šiuolaikinėse vektorinėse duomenų bazėse. Viena padeda suprasti paprastus ryšius, o kita atkuria duomenų architektūrą algoritmams.
Linijinės koreliacijos metrikos greitai sugenda, kai duomenys atitinka netiesines kreives arba juose yra didelių, neišvalytų anomalijų, kurios atitraukia tendencijos liniją nuo realybės. Vektorinė projekcija elgiasi nuspėjamai, nes laikosi griežtų geometrinių dėsnių, nors vienas didelio masto vektorius gali lengvai dominuoti projekcijos aplinkoje. Analitikai prieš projektuodami vektorius turi pašalinti mastelio skirtumus, o koreliacija automatiškai apdoroja dispersijos pokyčius.
Kosinuso panašumas ir vektoriaus projekcija yra tas pats matematinis veiksmas.
Jie yra artimi giminaičiai, tačiau skiriasi mastelio tvarkymu. Kosinuso panašumas išskiria kampą tarp vektorių, visiškai ignoruodamas jų ilgį, o vektoriaus projekcija apskaičiuoja faktinį erdvinį nusileidimo tašką, kuris kinta pagal vektoriaus dydžius.
Nulinis koreliacijos balas reiškia, kad du kintamieji neturi jokio ryšio.
Nulis balų tik patvirtina tiesinio ryšio nebuvimą. Kintamieji vis tiek gali turėti tobulą, nuspėjamą parabolinį arba ciklinį modelį, kurio standartiniai koreliacijos algoritmai tiesiog nemato.
Vektorinę projekciją galima apskaičiuoti tik paprastose dvimatėse arba trimatėse erdvėse.
Pagrindinė tiesinė algebra nepriekaištingai veikia begalinėse dimensijose. Šiuolaikiniai mašininio mokymosi modeliai reguliariai projektuoja vektorius pirmyn ir atgal per aplinkas, turinčias tūkstančius skirtingų dimensijų.
Didelė koreliacija įrodo, kad vienas kintamasis aktyviai skatina kito kintamojo pokyčius.
Tai klasikiniai analitiniai spąstai. Didelė koreliacija tiesiog parodo, kad du duomenų modeliai juda kartu, dažnai todėl, kad abu reaguoja į paslėptą trečią veiksnį, kuris nebuvo užfiksuotas.
Rinkitės koreliacinę analizę, kai reikia greitai įvertinti dviejų kintamųjų ryšį arba patikrinti statistinių modelių daugiakolinearumą. Kurdami mašininio mokymosi darbo eigas, manipuliuodami erdviniais įterpimais arba mažindami sudėtingų, daugiakintamųjų duomenų rinkinių matmenis, kreipkitės į vektorių projekciją.
Astrologinės prognozės susieja dangaus ciklus su žmonių patirtimi siekiant simbolinės reikšmės, o statistinės prognozės analizuoja empirinius istorinius duomenis, kad įvertintų būsimas skaitines vertes. Šiame palyginime nagrinėjamas skirtumas tarp senovinės, archetipais pagrįstos asmeninių apmąstymų sistemos ir modernios, duomenimis pagrįstos metodologijos, naudojamos objektyviam sprendimų priėmimui versle ir moksle.
Šis palyginimas nagrinėja intriguojančią prarają tarp senovinių dangaus stebėjimų ir šiuolaikinės prognozinės analizės. Astrologiniai tranzitai naudoja planetų ciklus asmeninio augimo fazėms interpretuoti, o gyvenimo įvykių tikimybių modeliai remiasi dideliais duomenimis ir statistiniais algoritmais, kad numatytų konkrečius etapus, tokius kaip karjeros pokyčiai ar sveikatos priežiūros poreikiai.
Nors retrospektyvinė analizė veikia kaip organizacijos galinio vaizdo veidrodis, analizuodama istorinius įrašus, kad suprastų praeities sėkmes ir nesėkmes, ateities prognozavimo modeliai žvelgia pro priekinį stiklą, derindami statistinius algoritmus ir mašininį mokymąsi, kad numatytų būsimus rinkos pokyčius, klientų veiksmus ir veiklos kliūtis.
Pasirinkimas tarp aukšto dažnio duomenų ir apibendrintų duomenų yra esminis kompromisas analitikoje. Nors neapdoroti, per sekundę gaunami sandoriai ir jutiklių srautai suteikia neprilygstamą tiesioginio elgesio ir rinkos mikrostruktūrų matomumą, suspausti laiko apibendrinimai pašalina didžiulį statistinį triukšmą ir didelius infrastruktūros poreikius, kad būtų galima atskleisti aiškias, struktūrines ilgalaikes tendencijas.
Pasirinkimas tarp automatinio modelių sekimo ir rankinio eksperimentų sekimo iš esmės lemia duomenų mokslo komandos greitį ir atkuriamumą. Nors automatizavimas naudoja specializuotą programinę įrangą, kad sklandžiai užfiksuotų kiekvieną hiperparametrą, metriką ir artefaktą, rankinis sekimas priklauso nuo žmogaus kruopštumo naudojant skaičiuokles arba „markdown“ failus, todėl reikia rasti griežtą kompromisą tarp sąrankos greičio ir ilgalaikio keičiamo tikslumo.
