Відсікання ознак та збагачення ознаками являють собою протилежні стратегії в машинному навчанні: одна видаляє непотрібні дані для спрощення моделей, а інша додає нову інформацію для підвищення прогностичної сили. Вибір між ними залежить від того, чи страждає ваша модель від шуму чи від відсутності контексту.
Метод, який видаляє нерелевантні або надлишкові ознаки з набору даних для покращення продуктивності моделі та зменшення складності.
Процес додавання нових змінних або перетворення існуючих, щоб надати моделям машинного навчання більш повну інформацію для прогнозів.
| Функція | Обрізка ознак | Збагачення функцій |
|---|---|---|
| Основна мета | Видаліть непотрібні функції | Додайте цінні функції |
| Вплив на розмір набору даних | Зменшує кількість функцій | Збільшує кількість функцій |
| Вплив на складність моделі | Спрощує модель | Збільшує складність моделі |
| Найкраще використовувати, коли | Модель надмірно налаштована або повільна | Модель не відповідає контексту або не враховує його |
| Поширені методи | Ласо, значення на основі дерев, PCA | Кодування, вбудовування, перехресні ознаки |
| Ризик | Видалення корисних функцій помилково | Додавання шумних або надлишкових функцій |
| Обчислювальні витрати | Зазвичай нижчий після обрізки | Зазвичай вище через більше функцій |
| Інтерпретованість | Зазвичай покращується | Може стати складніше для інтерпретації |
Відсікання ознак дотримується мінімалістичної філософії: менше – це більше. Виключаючи змінні, які мають невелику прогностичну цінність, модель зосереджується на тому, що дійсно важливо. Збагачення ознаками займає протилежну позицію, вважаючи, що багатші та детальніші вхідні дані призводять до розумніших прогнозів. Обидві філософії мають свої переваги, і правильний вибір залежить від якості та повноти ваших вихідних даних.
Обрізання найкраще працює, коли у вас є сотні або тисячі ознак, і ви підозрюєте, що багато з них є шумом, наприклад, у геномних даних або класифікації тексту за допомогою моделей «мішок слів». Збагачення є найефективнішим, коли ваш набір даних розріджений або йому бракує критичного контексту, наприклад, прогнозування відтоку клієнтів, використовуючи лише основні демографічні дані без історії поведінки. На практиці фахівці з обробки даних часто поєднують обидва методи: спочатку збагачують, а потім обрізають розширений набір.
Скорочені моделі зазвичай навчаються швидше та розгортаються з меншим обсягом пам'яті, що робить їх ідеальними для периферійних пристроїв або систем реального часу. Збагачені моделі можуть досягти вищої точності, але за рахунок тривалішого часу навчання та більших потреб у сховищі. Обчислювальні витрати на збагачення можуть бути виправдані, коли підвищення точності безпосередньо впливає на бізнес-цінність, наприклад, у медичній діагностиці або запобіганні шахрайству.
Найбільша небезпека обрізання полягає в усуненні ознаки, яка здається неважливою, але насправді має значення в тонких взаємодіях. Основний ризик збагачення полягає у вибуху ознак, коли додавання занадто великої кількості похідних змінних призводить до мультиколінеарності та перенавчання. Обидві пастки можна пом'якшити за допомогою перехресної перевірки та ретельного моніторингу метрик перевірки під час експериментів.
Скорочення, природно, призводить до простіших моделей, які зацікавлені сторони можуть зрозуміти, оскільки менше вхідних даних означає чіткіші пояснення. Збагачення може заплутати ситуацію, вводячи інженерні ознаки, значення яких не є очевидним, такі як вектори вбудовування або терміни взаємодії. Тим не менш, добре документовані конвеєри збагачення з чіткими назвами ознак можуть зберегти інтерпретованість, одночасно підвищуючи продуктивність.
Більше функцій завжди означає кращу модель.
Додавання ознак без обґрунтування часто призводить до шуму та мультиколінеарності, що може негативно вплинути на продуктивність. Якість та релевантність набагато важливіші за кількість, тому обрізання залишається важливим навіть після збагачення.
Обрізання ознак – це просто випадкове видалення стовпців.
Ефективне обрізання використовує статистичні тести, оцінки важливості на основі моделей або експертизу предметної області для виявлення справді непотрібних ознак. Випадкове видалення майже напевно видалить цінний сигнал разом із шумом.
Збагачення ознаками завжди покращує точність.
Збагачення допомагає лише тоді, коли нові ознаки несуть справжню прогностичну інформацію. Додавання нерелевантних або надлишкових інженерних ознак може так само легко погіршити продуктивність моделі, як і покращити її.
Вам доведеться обрати одну стратегію або іншу.
У реальних конвеєрах машинного навчання збагачення та скорочення є взаємодоповнюючими кроками. Команди зазвичай спочатку збагачують необроблені дані, а потім скорочують розширений набір функцій, щоб залишити лише те, що дійсно впливає на прогнози.
Обрізання робить моделі менш точними за визначенням.
Обрізання видаляє ознаки, які шкодять узагальненню, тому добре виконане обрізання часто покращує точність тестового набору. Мета полягає не в тому, щоб довільно мінімізувати ознаки, а в тому, щоб зберегти лише ті, які роблять значущий внесок у прогнози.
Оберіть скорочення ознак, коли ваша модель перенавчається, навчається занадто повільно або має проблеми з високовимірними даними. Використовуйте збагачення ознаками, коли точність досягає плато, оскільки вашому набору даних бракує контексту, необхідного для фіксації реальних закономірностей. У більшості виробничих робочих процесів найрозумніший шлях — це продумане збагачення, а потім агресивне скорочення, щоб знайти оптимальний баланс.
A/B-тестування в моделюванні спрямовує трафік між конкуруючими версіями моделей для вимірювання реальної продуктивності, тоді як розгортання однієї моделі надає одну модель усім користувачам. Команди обирають між ними на основі толерантності до ризику, обсягу трафіку та необхідності статистичної перевірки перед повним розгортанням.
A/B-тестування в релізах контенту передбачає розгортання варіацій для різних сегментів аудиторії та вимірювання ефективності, тоді як одноразові релізи контенту пропонують одну версію всім одночасно. Кожен підхід відповідає різним цілям, причому A/B-тестування надає перевагу оптимізації на основі даних, а одноразові релізи надають пріоритет швидкості та простоті.
DeepSeek V4 — це нова модель великої мови програмування відкритої ваги від китайської лабораторії штучного інтелекту, тоді як моделі класу GPT-4 відносяться до флагманських систем із закритим кодом OpenAI. Це порівняння досліджує їхні архітектури, можливості, ціни, доступність та реальну продуктивність, щоб допомогти розробникам та компаніям робити правильний вибір.
LLM, що використовують інструменти, розширюють автономні мовні моделі, підключаючи їх до зовнішніх API, калькуляторів та баз даних, що дозволяє отримувати інформацію та виконувати завдання в режимі реального часу. Автономні LLM покладаються виключно на навчені параметри, що робить їх самостійними, але обмеженими знаннями з навчальних даних.
LLM з відкритим кодом пропонують налаштовувані, самостійно розміщені моделі штучного інтелекту з повним доступом до коду, тоді як власні API LLM надають керовані, відшліфовані послуги через хмарні кінцеві точки з ціноутворенням на основі використання.
