Sebbene gli scienziati dei dati incontrino frequentemente entrambi i termini nella riduzione della dimensionalità, le componenti principali descrivono le direzioni di massima varianza in un dataset, mentre i valori singolari misurano l'entità della scalatura lungo tali assi geometrici durante la decomposizione della matrice. Comprendere il loro legame matematico è essenziale per padroneggiare algoritmi come PCA e SVD.
I vettori ortogonali che puntano nelle direzioni di massima varianza, contribuiscono a semplificare e condensare dati ad alta dimensionalità.
Gli elementi diagonali di una matrice di valori singolari, che rappresentano i fattori di scala assoluti di una trasformazione lineare.
| Funzionalità | Componenti principali | Valori singolari |
|---|---|---|
| Origine matematica | Autovettori della matrice di covarianza | fattori di decomposizione della matrice (SVD) |
| Interpretazione geometrica | Direzioni di massima varianza | Scalatura delle lunghezze degli assi principali |
| Requisiti dei dati | Richiede dati centrati sulla media per un significato statistico | Si applica a qualsiasi matrice rettangolare o quadrata arbitraria |
| Relazione con gli autovalori | Uguale agli autovalori della matrice di covarianza | Uguale alle radici quadrate degli autovalori del prodotto matriciale |
| Applicazione principale | Riduzione della dimensionalità ed estrazione delle caratteristiche | Inversione di matrice, calcolo della pseudo-inversa e approssimazione a basso rango |
| Dipendenza dalla scala | Modificato in modo significativo mediante lo spostamento o la scalatura dei dati | Proprietà intrinseca della specifica matrice in fase di decomposizione |
| Interpretazione fisica | Assi di un ellissoide di nuvola di dati | Fattori di allungamento di una sfera unitaria trasformata |
Le componenti principali rappresentano le direzioni specifiche in cui i dati variano maggiormente, fungendo da nuovi assi per un sistema di coordinate ottimizzato. Al contrario, i valori singolari sono quantità scalari che rivelano quanto una matrice dilata o comprime lo spazio lungo tali assi. Mentre una fornisce l'orientamento della nuvola di dati, l'altra misura l'entità della trasformazione stessa.
Per trovare le componenti principali, tradizionalmente, è necessario calcolare gli autovettori della matrice di covarianza di un insieme di dati. I valori singolari emergono dalla decomposizione ai valori singolari (SVD), in cui qualsiasi matrice si scompone in tre matrici componenti distinte. Quando si centrano i dati sottraendo la media, il quadrato di un valore singolare diviso per la dimensione del campione meno uno è esattamente uguale alla varianza di quella componente principale.
Le componenti principali cambiano drasticamente se ci si dimentica di centrare i dati sulla media o di standardizzarli, poiché la varianza statistica dipende fortemente dal punto di origine e dalle scale delle variabili. I valori singolari, tuttavia, sono una proprietà algebrica fondamentale della matrice grezza fornita. Essi non tengono conto delle ipotesi statistiche a meno che l'utente non costruisca intenzionalmente una matrice di covarianza centrata.
Gli analisti di dati si affidano all'analisi delle componenti principali (PCA) per visualizzare set di dati complessi e multidimensionali su semplici grafici bidimensionali. D'altro canto, gli ingegneri della visione artificiale utilizzano i valori singolari per la compressione delle immagini e i sistemi di raccomandazione tramite approssimazioni di matrici a basso rango. La decomposizione ai valori singolari (SVD) è in realtà il motore numerico preferito dopo la PCA perché il calcolo dei valori singolari evita la perdita di precisione che si verifica quando si costruisce una matrice di covarianza.
Le componenti principali e i valori singolari sono concetti completamente indipendenti.
Sono profondamente interconnessi attraverso la centratura dei dati. Quando si sottrae la media da una matrice di dati, i suoi valori singolari sono direttamente proporzionali alle radici quadrate delle varianze lungo le componenti principali.
Per trovare le componenti principali è sempre necessario calcolare la matrice di covarianza.
I software moderni raramente calcolano la matrice di covarianza perché ciò introduce errori di arrotondamento numerico. Al contrario, gli algoritmi applicano direttamente la decomposizione ai valori singolari (SVD) alla matrice dei dati, estraendo le componenti principali in modo molto più sicuro ed efficiente.
valori singolari possono essere negativi se i dati mostrano una correlazione negativa.
I valori singolari sono per definizione le radici quadrate positive degli autovalori di una matrice simmetrica. Sono sempre numeri reali non negativi, che rappresentano lunghezze o fattori di allungamento, indipendentemente dalle correlazioni presenti nei dati originali.
L'aggiunta di un valore costante a tutti i punti dati modifica in egual misura i valori singolari e le componenti principali.
La traslazione dei dati mediante una costante modifica i valori singolari perché gli elementi grezzi della matrice cambiano. Tuttavia, poiché le componenti principali si basano sulla matrice di covarianza, che per sua natura sottrae la media, la traslazione dei dati lascia le componenti principali completamente invariate.
La prima componente principale racchiude sempre tutte le informazioni rilevanti.
La prima componente cattura solo la varianza massima lungo un singolo asse. Se i dati sono distribuiti sfericamente o contengono importanti pattern non lineari, una singola componente lineare potrebbe non rilevare affatto le strutture più importanti.
Scegli l'analisi delle componenti principali quando il tuo obiettivo primario è interpretare, visualizzare o ridurre le caratteristiche di un set di dati statistici in base alla varianza. Opta per i valori singolari quando devi risolvere sistemi lineari, comprimere matrici o eseguire calcoli numerici stabili senza preoccuparti della preelaborazione statistica.
Mentre l'algebra si concentra sulle regole astratte delle operazioni e sulla manipolazione dei simboli per risolvere le incognite, la geometria esplora le proprietà fisiche dello spazio, tra cui la dimensione, la forma e la posizione relativa delle figure. Insieme, costituiscono il fondamento della matematica, traducendo le relazioni logiche in strutture visive.
Mentre l'analisi delle sequenze si basa su formule algoritmiche, matematiche e statistiche per quantificare gli allineamenti ed estrarre metriche precise da dati ordinati, la visualizzazione dei modelli converte questi flussi di dati complessi in layout spaziali intuitivi, spostando l'attenzione dai calcoli numerici al rapido riconoscimento umano dei modelli.
Angolo e pendenza quantificano entrambi la "pendenza" di una linea, ma parlano linguaggi matematici diversi. Mentre un angolo misura la rotazione circolare tra due linee intersecanti in gradi o radianti, la pendenza misura la "salita" verticale rispetto alla "corsa" orizzontale come rapporto numerico.
L'area superficiale e il volume sono le due principali metriche utilizzate per quantificare gli oggetti tridimensionali. Mentre l'area superficiale misura la dimensione totale delle superfici esterne di un oggetto – essenzialmente la sua "pelle", il volume misura la quantità di spazio tridimensionale contenuta all'interno dell'oggetto, ovvero la sua "capacità".
L'astrazione matematica elimina le realtà specifiche per rivelare strutture algebriche e logiche universali, mentre la comprensione visiva si basa sull'intuizione geometrica, sul ragionamento spaziale e sull'immaginazione mentale per rendere questi concetti complessi immediatamente tangibili e intuitivi, formando un potente duplice approccio alla risoluzione di problemi matematici complessi.
