Bien que les data scientists rencontrent fréquemment ces deux termes lors de la réduction de dimensionnalité, les composantes principales décrivent les directions de variance maximale dans un ensemble de données, tandis que les valeurs singulières mesurent l'amplitude de la variation le long de ces axes géométriques lors de la décomposition matricielle. Comprendre leur relation mathématique est essentiel pour maîtriser des algorithmes comme l'ACP et la SVD.
Les vecteurs orthogonaux pointant dans les directions de variance maximale permettent de simplifier et de condenser les données de grande dimension.
Les éléments diagonaux d'une matrice de valeurs singulières, représentant les facteurs d'échelle absolus d'une transformation linéaire.
| Fonctionnalité | Composantes principales | Valeurs singulières |
|---|---|---|
| Origine mathématique | vecteurs propres de la matrice de covariance | facteurs de décomposition matricielle (SVD) |
| Interprétation géométrique | Directions de variance maximale | Échelle des longueurs des axes principaux |
| Exigences en matière de données | Nécessite des données centrées sur la moyenne pour avoir une signification statistique. | S'applique à toute matrice rectangulaire ou carrée quelconque |
| Relation avec les valeurs propres | Égales aux valeurs propres de la matrice de covariance | Égal aux racines carrées des valeurs propres du produit matriciel |
| Application principale | Réduction de dimensionnalité et extraction de caractéristiques | Inversion de matrice, calcul de la pseudo-inverse et approximation de faible rang |
| Dépendance à l'échelle | Modifié de manière significative par le décalage ou la mise à l'échelle des données | Propriété inhérente de la matrice spécifique décomposée |
| Interprétation physique | Axes d'un ellipsoïde de nuage de données | Facteurs d'étirement d'une sphère unitaire transformée |
Les composantes principales représentent les directions spécifiques où les données varient le plus, servant de nouveaux axes pour un système de coordonnées optimisé. À l'inverse, les valeurs singulières sont des grandeurs scalaires qui indiquent dans quelle mesure une matrice étire ou comprime l'espace le long de ces axes. Tandis que l'une renseigne sur l'orientation du nuage de points, l'autre mesure l'amplitude de la transformation elle-même.
Pour identifier les composantes principales de manière classique, il faut calculer les vecteurs propres de la matrice de covariance d'un jeu de données. Les valeurs singulières proviennent de la décomposition en valeurs singulières (SVD), qui décompose toute matrice en trois matrices de composantes distinctes. En centrant les données par soustraction de la moyenne, le carré d'une valeur singulière divisé par la taille de l'échantillon moins un est exactement égal à la variance de cette composante principale.
Les composantes principales changent radicalement si l'on omet de centrer ou de standardiser les données, car la variance statistique dépend fortement de l'origine et des échelles des variables. Les valeurs singulières, en revanche, sont une propriété algébrique fondamentale de la matrice brute. Elles sont indépendantes des hypothèses statistiques, sauf si l'utilisateur construit préalablement une matrice de covariance centrée.
Les analystes de données utilisent l'analyse en composantes principales (ACP) pour visualiser des ensembles de données complexes et multidimensionnels sur des graphiques bidimensionnels simples. Par ailleurs, les ingénieurs en vision par ordinateur utilisent les valeurs singulières pour la compression d'images et les systèmes de recommandation via des approximations matricielles de faible rang. La décomposition en valeurs singulières (SVD) est en réalité le moteur numérique privilégié sous-jacent à l'ACP, car le calcul des valeurs singulières évite la perte de précision qui survient lors de la construction d'une matrice de covariance.
Les composantes principales et les valeurs singulières sont des concepts totalement indépendants.
Elles sont étroitement liées par le biais du centrage des données. Lorsqu'on soustrait la moyenne d'une matrice de données, ses valeurs singulières sont directement proportionnelles aux racines carrées des variances le long des composantes principales.
Il est toujours nécessaire de calculer la matrice de covariance pour identifier les composantes principales.
Les logiciels modernes calculent rarement la matrice de covariance car cela introduit des erreurs d'arrondi. Ils préfèrent appliquer directement la décomposition en valeurs singulières (SVD) à la matrice de données, extrayant ainsi les composantes principales de manière beaucoup plus sûre et efficace.
Les valeurs singulières peuvent être négatives si les données présentent une corrélation négative.
Les valeurs singulières sont, par définition, les racines carrées positives des valeurs propres d'une matrice symétrique. Ce sont toujours des nombres réels non négatifs, représentant des longueurs ou des facteurs d'étirement, indépendamment des corrélations dans les données d'origine.
L'ajout d'une valeur constante à tous les points de données modifie de manière égale les valeurs singulières et les composantes principales.
Décaler les données d'une constante modifie les valeurs singulières car les éléments bruts de la matrice sont altérés. Cependant, comme les composantes principales reposent sur la matrice de covariance, qui soustrait intrinsèquement la moyenne, le décalage des données laisse les composantes principales totalement inchangées.
La première composante principale capture toujours toutes les informations précieuses.
La première composante ne capture que la variance maximale le long d'un seul axe. Si vos données suivent une distribution sphérique ou présentent des structures non linéaires importantes, une seule composante linéaire risque de ne pas détecter les structures les plus significatives.
Choisissez l'analyse en composantes principales lorsque votre objectif principal est d'interpréter, de visualiser ou de réduire les caractéristiques d'un jeu de données statistiques en fonction de la variance. Optez pour les valeurs singulières lorsque vous devez résoudre des systèmes linéaires, compresser des matrices ou effectuer des calculs numériques stables sans vous soucier du prétraitement statistique.
L'abstraction mathématique élimine les réalités spécifiques pour révéler des structures algébriques et logiques universelles, tandis que la compréhension visuelle s'appuie sur l'intuition géométrique, le raisonnement spatial et l'imagerie mentale pour rendre ces concepts complexes immédiatement tangibles et intuitifs, formant ainsi une puissante approche duale pour résoudre des problèmes mathématiques complexes.
L'algèbre se concentre sur les règles abstraites des opérations et la manipulation des symboles pour résoudre des équations, tandis que la géométrie explore les propriétés physiques de l'espace, notamment la taille, la forme et la position relative des figures. Ensemble, elles constituent le fondement des mathématiques, traduisant les relations logiques en structures visuelles.
Alors que l'analyse de séquences s'appuie sur des formules algorithmiques, mathématiques et statistiques pour quantifier les alignements et extraire des mesures précises à partir de données ordonnées, la visualisation de modèles convertit ces flux de données complexes en agencements spatiaux intuitifs, déplaçant l'attention des calculs numériques vers une reconnaissance rapide des modèles par l'humain.
L'angle et la pente quantifient tous deux l'inclinaison d'une droite, mais ils s'expriment dans des langages mathématiques différents. Alors qu'un angle mesure la rotation circulaire entre deux droites sécantes en degrés ou en radians, la pente mesure le rapport entre la variation verticale (ou élévation) et la variation horizontale (ou distance parcourue) sous forme de rapport numérique.
Bien qu'ils puissent paraître mathématiquement opposés, le calcul différentiel et le calcul intégral sont en réalité les deux faces d'une même pièce. Le calcul différentiel s'intéresse aux variations des grandeurs à un instant précis, comme la vitesse instantanée d'une voiture, tandis que le calcul intégral additionne ces variations pour obtenir un résultat global, tel que la distance totale parcourue.
