Навчання на многовидах та лінійне зменшення розмірності обидва методи працюють з високовимірними даними, але вони принципово відрізняються тим, як зберігають структуру. Лінійні методи припускають, що дані лежать на плоскій гіперплощині, тоді як навчання на многовидах виявляє викривлені, нелінійні зв'язки. Вибір між ними залежить від того, чи є внутрішня геометрія ваших даних плоскою чи викривленою.
Клас нелінійних методів, що виявляють низьковимірні криволінійні структури, приховані у високовимірних даних.
Методи, що проектують високовимірні дані на низьковимірні підпростори за допомогою лінійних перетворень.
| Функція | Навчання на різноманітті | Зменшення лінійної розмірності |
|---|---|---|
| Основне припущення | Дані лежать на викривленому низьковимірному многовиді | Дані лежать на плоскому лінійному підпросторі |
| Структура збережена | В основному місцеві райони | В першу чергу глобальна дисперсія |
| Обчислювальні витрати | Зазвичай вище, часто O(n²) або гірше | Низький, зазвичай O(n·d²) або швидше |
| Інтерпретованість | Нижні, сокири рідко мають пряме значення | Вищі, компоненти часто пов'язані з оригінальними функціями |
| Масштабованість | Обмежено, з труднощами перевищує десятки тисяч очок | Чудово, обробляє мільйони зразків |
| Проекція поза вибіркою | Складно, вимагає методів наближення | Простий спосіб через множення матриць |
| Найкращі варіанти використання | Візуалізація, нелінійні патерни, зображення та біологічні дані | Стиснення ознак, попередня обробка, зменшення шуму |
| Приклади алгоритмів | t-SNE, UMAP, Isomap, LLE | PCA, LDA, факторний аналіз, усічений SVD |
Найбільший філософський розрив між цими підходами полягає в тому, що вони вважають щодо форми ваших даних. Лінійне зменшення розмірності трактує багатовимірні дані так, ніби вони знаходяться на плоскій гіперплощині, де прямі лінії та ортогональні проекції фіксують найважливіші варіації. Навчання на багатовимірностях дотримується протилежної точки зору, стверджуючи, що реальні дані часто складаються та вигинаються у багатовимірному просторі, як зім'ятий аркуш паперу. Якщо розправити цей папір, то отримаєш двовимірну поверхню, і алгоритми на багатовимірностях намагаються зробити саме це математично.
Лінійні методи, такі як PCA, є чемпіонами глобальної структури. Вони гарантують, що точки, розташовані далеко одна від одної у вихідному просторі, залишаються далеко одна від одної після проекції, що чудово підходить для розуміння загальної дисперсії, але може розмити дрібнозернисті кластери. Навчання на багатовидах змінює цей пріоритет, зосереджуючись на тому, щоб сусідні точки були близько одна до одної. Ось чому t-SNE та UMAP створюють ці вражаючі візуалізації, де кластери чітко виділяються, навіть коли глобальне розташування цих кластерів дещо довільне.
Коли набори даних стають великими, лінійні методи значно вириваються вперед. PCA можна ефективно обчислювати за допомогою розкладання за власними значеннями або розкладання за сингулярними значеннями, а бібліотеки, такі як scikit-learn, легко обробляють мільйони рядків. Алгоритми різноманіття, навпаки, часто вимагають побудови графів сусідства, які погано масштабуються, і t-SNE, зокрема, має квадратичну складність за кількістю вибірок. UMAP дещо покращився в цьому питанні, але обидва все ще значно відстають від лінійних методів для конвеєрів у виробничому масштабі.
Лінійні методи пропонують явну перевагу, коли вам потрібно пояснити, що означають зменшені розмірності. Компоненти PCA – це зважені комбінації оригінальних ознак, тому ви можете перевірити навантаження та зрозуміти, які змінні керують кожною віссю. Вбудовування на багатовиди, як відомо, непрозорі, з осями, які рідко відповідають чомусь, що може інтерпретуватися людиною. Крім того, лінійні методи дозволяють миттєво проектувати нові точки даних за допомогою вивченої матриці перетворення, тоді як методи на багатовиди часто вимагають перенавчання або складних наближень для обробки нових зразків.
Зменшення лінійної розмірності залишається вибором за замовчуванням для конвеєрів попередньої обробки, стиснення ознак та ситуацій, де важливі швидкість та інтерпретованість. Навчання на багатогранниках заслужено використовується, коли дані явно мають нелінійну структуру, наприклад, зображення, спектрограми мовлення або профілі експресії генів, і коли метою є дослідження, а не розгортання. На практиці багато фахівців з обробки даних спочатку використовують PCA як базову лінію, а потім звертаються до методів на багатогранниках лише тоді, коли лінійні проекції не виявляють значущих закономірностей.
Навчання на багатовидах завжди перевершує PCA, оскільки воно є більш складним.
Складність не означає кращу продуктивність. PCA часто зрівняється або перевершує методи багатогранності в таких завданнях, як попередня обробка класифікації або зменшення шуму. Навчання на багатогранності сяє в певних сценаріях, таких як візуалізація, але для багатьох практичних завдань машинного навчання PCA є кращим вибором.
t-SNE та UMAP зберігають глобальну структуру даних.
Обидва методи явно спотворюють глобальні відстані, щоб підкреслити локальні сусідні області. Відстань між кластерами на графіку t-SNE майже не несе значущої інформації, і інтерпретувати слід лише відносне положення сусідніх точок.
PCA припускає, що дані розподілені нормально.
PCA не вимагає нормальності. Він лише припускає, що дисперсія є значущою величиною, яку потрібно зберегти, і що лінійні комбінації ознак відображають важливу структуру. Він працює для широкого діапазону розподілів, хоча дані з важкими хвостами можуть спотворювати результати.
Після запуску t-SNE ви можете використовувати вбудовування як вхідні дані для моделі нижче за течією.
Використання вбудовування t-SNE або UMAP як ознак для навчання з учителем зазвичай не рекомендується, оскільки вони спотворюють відстані та втрачають глобальну інформацію. PCA або інші лінійні методи зазвичай є безпечнішим вибором для конвеєрів розробки ознак.
Багатовимірне навчання може звести будь-який набір даних до 2D без втрати інформації.
Будь-яке зменшення розмірності пов'язане з певною втратою інформації. Методи різноманіття зберігають локальні зв'язки, але жертвують глобальною точністю, а агресивне зменшення до 2D може приховати важливі варіації, які мають значення для подальших завдань.
Звертайтеся до лінійного зменшення розмірності, коли вам потрібна швидкість, інтерпретованість та надійна проекція поза вибіркою, особливо у виробничих конвеєрах машинного навчання. Обирайте навчання на багатовидах, коли вашою метою є дослідницька візуалізація або коли ви підозрюєте сильні нелінійні зв'язки, які PCA просто не може охопити. Найрозумніший робочий процес часто передбачає спочатку спробу PCA та перехід до методів на багатовидах лише тоді, коли лінійний погляд недостатній.
A/B-тестування в моделюванні спрямовує трафік між конкуруючими версіями моделей для вимірювання реальної продуктивності, тоді як розгортання однієї моделі надає одну модель усім користувачам. Команди обирають між ними на основі толерантності до ризику, обсягу трафіку та необхідності статистичної перевірки перед повним розгортанням.
A/B-тестування в релізах контенту передбачає розгортання варіацій для різних сегментів аудиторії та вимірювання ефективності, тоді як одноразові релізи контенту пропонують одну версію всім одночасно. Кожен підхід відповідає різним цілям, причому A/B-тестування надає перевагу оптимізації на основі даних, а одноразові релізи надають пріоритет швидкості та простоті.
DeepSeek V4 — це нова модель великої мови програмування відкритої ваги від китайської лабораторії штучного інтелекту, тоді як моделі класу GPT-4 відносяться до флагманських систем із закритим кодом OpenAI. Це порівняння досліджує їхні архітектури, можливості, ціни, доступність та реальну продуктивність, щоб допомогти розробникам та компаніям робити правильний вибір.
LLM, що використовують інструменти, розширюють автономні мовні моделі, підключаючи їх до зовнішніх API, калькуляторів та баз даних, що дозволяє отримувати інформацію та виконувати завдання в режимі реального часу. Автономні LLM покладаються виключно на навчені параметри, що робить їх самостійними, але обмеженими знаннями з навчальних даних.
LLM з відкритим кодом пропонують налаштовувані, самостійно розміщені моделі штучного інтелекту з повним доступом до коду, тоді як власні API LLM надають керовані, відшліфовані послуги через хмарні кінцеві точки з ціноутворенням на основі використання.
