apprendimento automaticoriduzione della dimensionalitàscienza dei datiintelligenza artificialeapprendimento non supervisionato
Apprendimento su varietà vs. riduzione lineare della dimensionalità
Sia l'apprendimento su varietà (manifold learning) che la riduzione lineare della dimensionalità affrontano dati ad alta dimensionalità, ma differiscono fondamentalmente nel modo in cui preservano la struttura. I metodi lineari presuppongono che i dati giacciano su un iperpiano piatto, mentre l'apprendimento su varietà rivela relazioni curve e non lineari. La scelta tra i due dipende dal fatto che la geometria intrinseca dei dati sia piatta o curva.
In evidenza
L'apprendimento su varietà presuppone una geometria curva; i metodi lineari presuppongono iperpiani piatti.
I metodi lineari preservano la struttura globale, mentre i metodi basati su varietà danno priorità ai vicinati locali.
PCA e simili raggiungono milioni di punti; t-SNE e UMAP faticano a superare le decine di migliaia.
Le proiezioni lineari possono essere applicate istantaneamente a nuovi dati, ma le rappresentazioni vettoriali (manifold embeddings) spesso non lo consentono.
Cos'è Apprendimento multiforme?
Una classe di tecniche non lineari che permettono di scoprire strutture curve a bassa dimensionalità nascoste all'interno di dati ad alta dimensionalità.
L'apprendimento su varietà si basa sull'ipotesi della varietà, che presuppone che i dati ad alta dimensionalità giacciano effettivamente su una superficie curva a dimensionalità inferiore.
Tra gli algoritmi più diffusi si annoverano Isomap, Locally Linear Embedding (LLE), t-SNE, UMAP e Laplacian Eigenmaps.
Eccelle nel preservare i quartieri locali, il che significa che i punti vicini nello spazio ad alta dimensionalità rimangono vicini nella rappresentazione ridotta.
La maggior parte dei metodi basati su varietà ha difficoltà con la proiezione fuori campione, rendendo difficile mappare nuovi punti dati senza riaddestrare il modello.
t-SNE e UMAP sono ampiamente utilizzati per visualizzare set di dati complessi come il sequenziamento dell'RNA a singola cellula e l'embedding di immagini.
Cos'è Riduzione lineare della dimensionalità?
Tecniche che proiettano dati ad alta dimensionalità su sottospazi a dimensionalità inferiore utilizzando trasformazioni lineari.
L'analisi delle componenti principali (PCA), il metodo lineare più famoso, risale al 1901 ed è stata sviluppata da Karl Pearson.
metodi lineari presuppongono che la varianza dei dati sia meglio rappresentata lungo assi ortogonali nello spazio delle caratteristiche originale.
Essi preservano la struttura globale, ovvero mantengono la forma complessiva e le distanze tra punti distanti.
Le tecniche lineari sono computazionalmente efficienti e si adattano bene a milioni di campioni.
Oltre all'analisi delle componenti principali (PCA), la famiglia comprende l'analisi discriminante lineare (LDA), l'analisi fattoriale e la decomposizione ai valori singolari troncata (SVD troncata).
Tabella di confronto
Funzionalità
Apprendimento multiforme
Riduzione lineare della dimensionalità
Assunzione fondamentale
I dati giacciono su una varietà curva a bassa dimensionalità
I dati giacciono su un sottospazio lineare piatto
Struttura preservata
Principalmente quartieri locali
Varianza principalmente globale
Costo computazionale
Generalmente più elevato, spesso O(n²) o peggiore
Basso, tipicamente O(n·d²) o più veloce
Interpretazione
Gli assi inferiori raramente hanno un significato diretto
Più in alto, i componenti spesso si riferiscono alle caratteristiche originali
Scalabilità
Limitato, lotta oltre decine di migliaia di punti
Eccellente, gestisce milioni di campioni
Proiezione fuori campione
Difficile, richiede metodi di approssimazione
Semplice tramite moltiplicazione di matrici
Casi d'uso ottimali
Visualizzazione, modelli non lineari, immagini e dati biologici
Compressione delle caratteristiche, preelaborazione, riduzione del rumore
Esempi di algoritmi
t-SNE, UMAP, Isomap, LLE
PCA, LDA, analisi fattoriale, SVD troncata
Confronto dettagliato
Assunzioni geometriche sui dati
La principale differenza filosofica tra questi approcci risiede nella loro concezione della forma dei dati. La riduzione lineare della dimensionalità tratta i dati ad alta dimensionalità come se si trovassero su un iperpiano piatto, dove linee rette e proiezioni ortogonali catturano la variazione più importante. L'apprendimento su varietà (manifold learning) adotta la visione opposta, sostenendo che i dati del mondo reale spesso si piegano e si curvano nello spazio ad alta dimensionalità come un foglio di carta accartocciato. Se si distende quel foglio, si ottiene una superficie bidimensionale, e gli algoritmi di apprendimento su varietà cercano di riprodurre matematicamente proprio questo effetto.
Preservare la struttura locale vs. quella globale
metodi lineari come la PCA sono i migliori nel mettere in evidenza la struttura globale. Garantiscono che i punti distanti nello spazio originale rimangano tali anche dopo la proiezione, il che è ottimo per comprendere la varianza complessiva ma può offuscare i cluster più piccoli. Il manifold learning inverte questa priorità, concentrandosi intensamente sul mantenere i punti vicini tra loro. Questo è il motivo per cui t-SNE e UMAP producono quelle visualizzazioni sorprendenti in cui i cluster risaltano chiaramente, anche quando la disposizione globale di tali cluster è in qualche modo arbitraria.
Praticità computazionale
Quando i dataset diventano di grandi dimensioni, i metodi lineari diventano nettamente più efficienti. La PCA può essere calcolata in modo efficiente utilizzando la decomposizione agli autovalori o la decomposizione ai valori singolari, e librerie come scikit-learn gestiscono milioni di righe con facilità. Gli algoritmi manifold, al contrario, spesso richiedono la costruzione di grafi di vicinato che scalano male, e t-SNE in particolare ha una complessità quadratica rispetto al numero di campioni. UMAP ha migliorato un po' questo aspetto, ma entrambi sono ancora molto indietro rispetto ai metodi lineari per pipeline su scala di produzione.
Interpretazione e implementazione
metodi lineari offrono un chiaro vantaggio quando è necessario spiegare il significato delle dimensioni ridotte. Le componenti PCA sono combinazioni ponderate delle caratteristiche originali, quindi è possibile esaminare i carichi e comprendere quali variabili influenzano ciascun asse. Gli embedding su varietà sono notoriamente opachi, con assi che raramente corrispondono a qualcosa di interpretabile dall'uomo. Inoltre, i metodi lineari consentono di proiettare istantaneamente nuovi punti dati utilizzando la matrice di trasformazione appresa, mentre i metodi su varietà spesso richiedono un nuovo addestramento o approssimazioni complesse per gestire nuovi campioni.
Quando ogni approccio brilla
La riduzione lineare della dimensionalità rimane la scelta predefinita per le pipeline di preelaborazione, la compressione delle caratteristiche e le situazioni in cui velocità e interpretabilità sono importanti. L'apprendimento su varietà (manifold learning) si rivela utile quando i dati presentano chiaramente una struttura non lineare, come immagini, spettrogrammi vocali o profili di espressione genica, e quando l'obiettivo è l'esplorazione piuttosto che l'implementazione. In pratica, molti data scientist eseguono prima la PCA come riferimento, per poi ricorrere ai metodi su varietà solo quando le proiezioni lineari non riescono a rivelare modelli significativi.
Pro e Contro
Apprendimento multiforme
Vantaggi
+Cattura modelli non lineari
+Eccellente per la visualizzazione
+Rivela cluster nascosti
+Preserva la geometria locale
Consentiti
−Computazionalmente oneroso
−Difficile da interpretare
−Mappatura fuori campione di scarsa qualità
−Sensibile agli iperparametri
Riduzione lineare della dimensionalità
Vantaggi
+Veloce e scalabile
+Facile da interpretare
+Risultati deterministici
+Implementazione semplice
Consentiti
−Non rileva la struttura non lineare
−Limitato alle proiezioni piane.
−Può sfocare gruppi compatti
−Presuppone una varianza ortogonale
Idee sbagliate comuni
Mito
L'apprendimento su varietà (manifold learning) supera sempre l'analisi delle componenti principali (PCA) perché è più sofisticato.
Realtà
La sofisticazione non è sinonimo di prestazioni migliori. L'analisi delle componenti principali (PCA) spesso eguaglia o supera i metodi di apprendimento su varietà in attività come la preelaborazione della classificazione o la riduzione del rumore. L'apprendimento su varietà eccelle in scenari specifici come la visualizzazione, ma per molte attività pratiche di apprendimento automatico, la PCA è la scelta migliore.
Mito
t-SNE e UMAP preservano la struttura globale dei dati.
Realtà
Entrambi i metodi distorcono esplicitamente le distanze globali per enfatizzare le distanze locali. La distanza tra i cluster in un grafico t-SNE non contiene quasi nessuna informazione significativa, e solo la posizione relativa dei punti vicini dovrebbe essere interpretata.
Mito
L'analisi delle componenti principali (PCA) presuppone che i dati siano distribuiti normalmente.
Realtà
L'analisi delle componenti principali (PCA) non richiede la normalità. Presuppone solo che la varianza sia una quantità significativa da preservare e che le combinazioni lineari delle caratteristiche catturino la struttura importante. Funziona su un'ampia gamma di distribuzioni, sebbene i dati con code pesanti possano distorcere i risultati.
Mito
Una volta eseguito t-SNE, è possibile utilizzare l'embedding come input per un modello successivo.
Realtà
L'utilizzo di embedding t-SNE o UMAP come caratteristiche per l'apprendimento supervisionato è generalmente sconsigliato perché distorcono le distanze e perdono informazioni globali. PCA o altri metodi lineari sono solitamente scelte più sicure per le pipeline di feature engineering.
Mito
L'apprendimento su varietà può ridurre qualsiasi set di dati a 2D senza perdita di informazioni.
Realtà
Qualsiasi riduzione di dimensionalità comporta una certa perdita di informazioni. I metodi basati sulle varietà preservano le relazioni locali ma sacrificano la fedeltà globale, e una riduzione aggressiva a 2D può nascondere importanti variazioni che sono rilevanti per le operazioni successive.
Domande frequenti
Qual è la principale differenza tra apprendimento su varietà e PCA?
L'analisi delle componenti principali (PCA) presuppone che i dati si trovino su un sottospazio lineare piatto e individua gli assi ortogonali di massima varianza. L'apprendimento su varietà (manifold learning) presuppone che i dati si trovino su una superficie curva e cerca di "srotolarla" preservando le interazioni locali. La differenza fondamentale risiede nelle ipotesi, lineari o non lineari, sulla geometria sottostante.
Quando dovrei usare il manifold learning invece della PCA?
È consigliabile ricorrere al manifold learning quando i dati presentano una chiara struttura non lineare che la PCA non riesce a catturare, come nel caso di immagini, caratteristiche del parlato o dati biologici. È inoltre la scelta migliore quando l'obiettivo è la visualizzazione e si desidera che i cluster appaiano distinti. Per le pipeline di pre-elaborazione o di produzione, la PCA è generalmente più veloce e pratica.
t-SNE è un metodo di apprendimento su varietà?
Sì, t-SNE è considerata una tecnica di apprendimento su varietà perché preserva la struttura locale del vicinato e rivela modelli non lineari. Tuttavia, è progettata principalmente per la visualizzazione piuttosto che per la riduzione della dimensionalità in generale e non fornisce un modo per proiettare nuovi punti dati.
È possibile gestire grandi insiemi di dati con l'apprendimento su varietà?
metodi standard di varietà come t-SNE presentano una scarsa scalabilità, con una complessità intorno a O(n²), il che li rende impraticabili oltre circa 50.000 punti. UMAP ha migliorato significativamente la scalabilità e le varianti approssimate come FIt-SNE e openTSNE spingono ulteriormente i limiti, ma i metodi lineari come PCA gestiscono ancora con facilità set di dati molto più grandi.
Perché l'analisi delle componenti principali (PCA) è ancora così popolare se l'apprendimento su varietà è più potente?
L'analisi delle componenti principali (PCA) rimane popolare perché è veloce, interpretabile, deterministica e facile da implementare. La sua ipotesi di linearità è spesso sufficiente per molti problemi del mondo reale e si integra perfettamente nelle pipeline di apprendimento automatico. L'apprendimento su varietà (manifold learning) è più potente in scenari specifici, ma introduce una complessità che non è sempre giustificata.
I metodi di apprendimento su varietà preservano le distanze tra i punti?
Non esattamente. La maggior parte dei metodi di varietà preserva le distanze locali, ovvero i punti vicini rimangono vicini, ma le distanze globali sono spesso distorte o prive di significato. In particolare, t-SNE è noto per allungare o comprimere lo spazio tra i cluster, quindi ci si dovrebbe fidare solo della posizione relativa dei vicini più prossimi.
Cos'è l'ipotesi della varietà?
L'ipotesi della varietà afferma che i dati ad alta dimensionalità si trovano tipicamente su o vicino a una superficie curva a dimensionalità molto inferiore, immersa nello spazio originale. Ad esempio, un volto renderizzato in 3D potrebbe essere descritto da pochi parametri come l'angolo, l'illuminazione e l'espressione, anche se la rappresentazione a pixel ha migliaia di dimensioni.
Posso utilizzare contemporaneamente l'analisi delle componenti principali (PCA) e il manifold learning?
Assolutamente. Un flusso di lavoro comune consiste nell'applicare prima l'analisi delle componenti principali (PCA) per ridurre la dimensionalità a un livello gestibile, ad esempio 50 componenti, e poi eseguire t-SNE o UMAP su tale rappresentazione ridotta. Questo velocizza l'algoritmo di manifolding e a volte può ridurre il rumore che interferisce con il rilevamento del vicinato.
UMAP è migliore di t-SNE?
UMAP è generalmente più veloce di t-SNE, si adatta meglio a set di dati di grandi dimensioni e preserva maggiormente la struttura globale. Supporta inoltre la proiezione di nuovi punti dati sull'embedding, cosa che t-SNE non permette. Detto questo, entrambi producono visualizzazioni simili in molti casi e la scelta spesso dipende dai requisiti di velocità e dalle preferenze personali.
I metodi lineari vengono mai utilizzati per la visualizzazione?
Sì, l'analisi delle componenti principali (PCA) è spesso utilizzata per visualizzazioni 2D o 3D rapide, soprattutto come punto di partenza prima di ricorrere a metodi non lineari. Le proiezioni lineari sono meno d'impatto visivo rispetto a t-SNE o UMAP, ma offrono il vantaggio di essere interpretabili e riproducibili, aspetto importante nella redazione di report scientifici e aziendali.
Verdetto
Ricorrete alla riduzione lineare della dimensionalità quando avete bisogno di velocità, interpretabilità e proiezioni out-of-sample affidabili, soprattutto nelle pipeline di machine learning in produzione. Scegliete il manifold learning quando il vostro obiettivo è la visualizzazione esplorativa o quando sospettate forti relazioni non lineari che la PCA non è in grado di catturare. Il flusso di lavoro più efficace spesso prevede di provare prima la PCA e di passare ai metodi manifold solo quando l'approccio lineare si rivela insufficiente.
