Хоча фахівці з обробки даних часто стикаються з обома термінами в контексті редукції розмірності, головні компоненти описують напрямки максимальної дисперсії в наборі даних, тоді як сингулярні значення вимірюють величину масштабування вздовж цих геометричних осей під час декомпозиції матриці. Розуміння їхнього математичного мосту є важливим для опанування таких алгоритмів, як PCA та SVD.
Ортогональні вектори, що вказують напрямки максимальної дисперсії, допомагають спростити та ущільнити багатовимірні дані.
Діагональні елементи матриці сингулярних значень, що представляють абсолютні коефіцієнти масштабування лінійного перетворення.
| Функція | Основні компоненти | Сингулярні значення |
|---|---|---|
| Математичне походження | Власні вектори коваріаційної матриці | Фактори матричного розкладання (SVD) |
| Геометрична інтерпретація | Напрямки максимальної дисперсії | Масштабування довжин головних осей |
| Вимога до даних | Для статистичної значущості потрібні дані, центровані за середнім значенням | Застосовується до будь-якої довільної прямокутної або квадратної матриці |
| Зв'язок з власними значеннями | Дорівнює власним значенням коваріаційної матриці | Дорівнює квадратним кореням з власних значень матричного добутку |
| Основне застосування | Зменшення розмірності та вилучення ознак | Інверсія матриці, псевдоінверсне обчислення та апроксимація низького рангу |
| Залежність від масштабу | Значно змінено шляхом зміщення або масштабування даних | Властивість конкретної матриці, що розкладається |
| Фізична інтерпретація | Осі еліпсоїда хмари даних | Коефіцієнти розтягування трансформованої одиничної сфери |
Головні компоненти представляють конкретні напрямки, де дані найбільше змінюються, діючи як нові осі для оптимізованої системи координат. На противагу цьому, сингулярні значення – це скалярні величини, які показують, наскільки матриця розтягує або стискає простір вздовж цих осей. Одна з них дає орієнтацію хмари даних, а інша вимірює величину самого перетворення.
Щоб знайти головні компоненти традиційним способом, необхідно обчислити власні вектори коваріаційної матриці набору даних. Сингулярні значення виникають в результаті розкладання за сингулярними значеннями, де будь-яка матриця розбивається на три окремі компонентні матриці. Коли ви центруєте дані шляхом віднімання середнього значення, квадрат сингулярного значення, поділений на розмір вибірки мінус один, ідеально дорівнює дисперсії цієї головної компоненти.
Головні компоненти різко змінюються, якщо ви забуваєте провести центрування за середнім або стандартизацію даних, оскільки статистична дисперсія значною мірою залежить від початкової точки та шкали змінних. Сингулярні значення, однак, є фундаментальною алгебраїчною властивістю наданої необробленої матриці. Вони не враховують статистичні припущення, якщо користувач навмисно спочатку не побудує центровану коваріаційну матрицю.
Аналітики даних покладаються на головні компоненти для візуалізації складних, багатовимірних наборів даних на простих двовимірних графіках. З іншого боку, інженери комп'ютерного зору використовують сингулярні значення для стиснення зображень та систем рекомендацій за допомогою апроксимації матриць низького рангу. SVD насправді є кращим числовим механізмом для PCA, оскільки обчислення сингулярних значень дозволяє уникнути втрати точності, яка виникає під час побудови коваріаційної матриці.
Головні компоненти та сингулярні значення є повністю незалежними поняттями.
Вони тісно переплетені через центрування даних. Коли з матриці даних віднімається середнє значення, її сингулярні значення прямо пропорційні квадратним кореням дисперсій вздовж головних компонент.
Ви завжди повинні обчислювати коваріаційну матрицю, щоб знайти головні компоненти.
Сучасне програмне забезпечення рідко обчислює коваріаційну матрицю, оскільки це призводить до числових помилок округлення. Натомість алгоритми безпосередньо виконують SVD на матриці даних, витягуючи головні компоненти набагато безпечніше та ефективніше.
Сингулярні значення можуть бути від'ємними, якщо дані демонструють негативну кореляцію.
Сингулярні значення за визначенням є додатними квадратними коренями власних значень симетричної матриці. Вони завжди є невід'ємними дійсними числами, що представляють довжини або коефіцієнти розтягування, незалежно від кореляцій у вихідних даних.
Додавання постійного значення до всіх точок даних однаково змінює сингулярні значення та головні компоненти.
Зсув даних на константу змінює сингулярні значення, оскільки змінюються елементи необробленої матриці. Однак, оскільки головні компоненти залежать від коваріаційної матриці, яка за своєю суттю віднімає середнє значення, зсув даних залишає головні компоненти повністю незмінними.
Перший головний компонент завжди фіксує всю цінну інформацію.
Перший компонент фіксує лише максимальну дисперсію вздовж однієї осі. Якщо ваші дані розподілені сферично або містять критичні нелінійні закономірності, один лінійний компонент може повністю пропустити найважливіші структури.
Оберіть головні компоненти, коли вашою основною метою є інтерпретація, візуалізація або редукція ознак статистичного набору даних на основі дисперсії. Оберіть сингулярні значення, коли вам потрібно розв'язувати лінійні системи, стискати матриці або виконувати стабільні числові обчислення, не турбуючись про попередню статистичну обробку.
Хоча в початковій математиці абсолютне значення часто використовується як взаємозамінне, воно зазвичай стосується відстані дійсного числа від нуля, тоді як модуль розширює цю концепцію на комплексні числа та вектори. Обидва терміни служать одній і тій самій фундаментальній меті: позбавлення від знаків напрямку, щоб показати чисту величину математичної сутності.
У той час як абстрактні числа трактують величини як чисту символічну логіку, що регулюється формальними правилами та алгебраїчними рівняннями, геометричні інтерпретації відображають ці ж значення у відчутні форми, лінії та просторові виміри. Разом ці дві перспективи утворюють подвійну мову в математиці, балансуючи стерильну символічну ефективність з інтуїтивним візуальним розумінням.
У той час як алгебра зосереджується на абстрактних правилах операцій та маніпуляціях символами для розв'язання задач щодо невідомих, геометрія досліджує фізичні властивості простору, включаючи розмір, форму та взаємне розташування фігур. Разом вони утворюють основу математики, перетворюючи логічні зв'язки на візуальні структури.
Хоча алгоритмічна генерація використовує величезну обчислювальну потужність для швидкого створення математичних структур, доказів та необроблених даних на основі встановлених правил, людська інтерпретація забезпечує необхідну інтуїцію, контекстуальне значення та концептуальні рамки, необхідні для розуміння цих результатів, що підкреслює глибокий симбіоз у сучасній математиці.
У той час як аналіз послідовностей спирається на алгоритмічні, математичні та статистичні формули для кількісної оцінки вирівнювань та отримання точних показників з упорядкованих даних, візуалізація шаблонів перетворює ці складні потоки даних на інтуїтивно зрозумілі просторові макети, зміщуючи фокус з числових обчислень на швидке розпізнавання шаблонів людиною.
