Прогнозування на основі машинного навчання спирається на алгоритми, навчені на історичних даних, для прогнозування майбутніх результатів, тоді як прогнозування на основі людських експертів спирається на професійне судження, знання предметної області та контекстуальне мислення. Обидва підходи мають різні сильні сторони, і багато організацій зараз поєднують їх для отримання точніших прогнозів.
Підхід, заснований на даних, який використовує алгоритми, навчені на історичних наборах даних, для виявлення закономірностей та створення прогнозів щодо майбутніх подій.
Підхід, заснований на судженнях, де фахівці в предметній області використовують досвід, інтуїцію та контекстуальне розуміння для прогнозування майбутніх результатів.
| Функція | Прогнозування машинного навчання | Прогнозування експертами-людьми |
|---|---|---|
| Основний вхід | Історичні числові дані | Знання предметної області, досвід, якісний контекст |
| Швидкість прогнозування | Майже миттєво після навчання | Повільніше, вимагає ретельного аналізу |
| Обробка подій «Чорний лебідь» | Бідний без перепідготовки | Сильний, може міркувати про нові сценарії |
| Масштабованість | Висока масштабованість для багатьох завдань | Обмежено доступним часом експерта |
| Інтерпретованість | Часто чорна скринька, хоча інструменти пояснення існують | Рішення можна пояснити за допомогою міркувань |
| Схильність до упередженості | Відображає упередження в навчальних даних | Схильний до когнітивних упереджень, таких як закріплення та надмірна впевненість |
| Структура витрат | Високі початкові витрати, низькі граничні витрати | Потрібна постійна компенсація експертам |
| Адаптивність до змін | Потребує перепідготовки з нових даних | Може коригувати міркування в режимі реального часу |
Дослідження проекту «Good Judgment Project» Філіпа Тетлока показало, що найкращі суперпрогнозисти-люди приблизно на 30% перевершують алгоритмічні базові показники з геополітичних питань. Однак у сферах з великою кількістю історичних даних, таких як прогнозування погоди чи роздрібний попит, моделі машинного навчання часто значно перевершують людське судження. Переможець у точності насправді залежить від того, чи майбутнє схоже на минуле.
Моделям машинного навчання для належної роботи потрібна значна кількість чистих, структурованих даних, і вони мають труднощі, коли ці дані розріджені або зашумлені. Експерти-люди можуть робити обґрунтовані прогнози навіть з обмеженою інформацією, спираючись на аналогії та попередній досвід. З іншого боку, після навчання моделі машинного навчання створення тисяч прогнозів майже нічого не коштує, тоді як масштабування людської експертизи вимагає найму та навчання більшої кількості людей.
Зацікавлені сторони часто хочуть зрозуміти, чому прогноз говорить саме так, і експерти-люди зазвичай можуть крок за кроком розібратися з їхніми міркуваннями. Багато моделей машинного навчання, зокрема глибокі нейронні мережі, працюють як чорні скриньки, де внутрішня логіка непрозора. Інструменти пояснення, такі як SHAP та LIME, допомагають, але вони додають складності та не завжди задовольняють регуляторів чи осіб, які приймають рішення, яким потрібні чіткі обґрунтування.
Коли трапляється щось справді безпрецедентне, як-от пандемія COVID-19, яка порушує ланцюги поставок у всьому світі, моделі машинного навчання, навчені на допандемічних даних, часто дають разючі невдачі, доки їх не перенавчать. Експерти-люди можуть міркувати про нові сценарії, використовуючи першопринципи, та коригувати свої ментальні моделі на ходу. Ця адаптивність робить людське судження особливо цінним у періоди структурних змін або криз.
Побудова потужної системи прогнозування на основі машинного навчання вимагає інвестицій в інфраструктуру даних, інженерні таланти та обчислювальні ресурси, але граничні витрати на кожне прогнозування згодом є незначними. Прогнозування за участю людей-експертів вимагає постійних витрат на зарплати, навчальні програми та часто конкурентну компенсацію для утримання найкращих талантів. Для організацій з обмеженим бюджетом вибір часто зводиться до того, чи мають вони дані, чи доступ до експертизи.
Все частіше найточніші прогнози отримуються шляхом поєднання обох методів, а не вибору одного. Машинне навчання може впоратися з важкими кількісними навантаженнями та поверхневими закономірностями, тоді як експерти-люди переглядають результати, коригують якісні фактори та ігнорують модель, коли відчувають, що щось не так. Такий підхід, в якому людина в процесі обробки даних, стає стандартною практикою в різних галузях, від фінансів до епідеміології.
Машинне навчання завжди створює точніші прогнози, ніж люди.
Точність значною мірою залежить від предметної області. У стабільних середовищах, багатих на дані, машинне навчання (ML) часто перемагає, але в нових або швидкозмінних ситуаціях кваліфіковані люди-прогнозисти часто перевершують алгоритми. Дослідження, такі як дослідження суперпрогнозиста Тетлока, показують, що люди можуть перевершити базові показники ML з геополітичних питань.
Прогнозування експертами-людьми – це просто здогадки, засновані на інтуїції.
Досвідчені експерти-прогнозисти використовують структуровані методи, такі як прогнозування на основі класів посилань, декомпозиція та оновлення ймовірностей. Вони відстежують свої прогнози, навчаються на помилках та застосовують суворі міркування, а не покладаються лише на інтуїцію.
Після навчання модель прогнозування машинного навчання ніколи не потребує оновлення.
З часом моделі деградують, оскільки реальні шаблони змінюються, проблема, відома як дрейф концепцій. Більшість систем машинного навчання у виробничих умовах потребують регулярного перенавчання, моніторингу та обслуговування, щоб залишатися точними.
Більша кількість даних завжди покращує прогнози машинного навчання.
Якість даних має таке ж значення, як і їх кількість. Упереджені, застарілі або зашумлені дані можуть насправді погіршити прогнози, а додавання більшої кількості тих самих недосконалих даних не вирішує основні проблеми.
Експерти-люди надто упереджені, щоб робити достовірні прогнози.
Хоча когнітивні упередження існують, методи структурованого прогнозування та агрегування прогнозів від кількох незалежних експертів значно зменшують упередженість. Дослідження Тетлока показало, що агреговані прогнози експертів можуть бути надзвичайно точними.
Оберіть прогнозування за допомогою машинного навчання, коли у вас є багато історичних даних, потрібні прогнози у великому масштабі та ви працюєте у відносно стабільному середовищі. Оберіть прогнозування за допомогою експертів-людей, коли маєте справу з новими ситуаціями, обмеженими даними або сценаріями, де контекстуальне мислення важливіше за розпізнавання образів. Для більшості серйозних застосувань найкращі результати отримуються від поєднання обох підходів, а не від їхнього сприйняття як конкуруючих.
A/B-тестування в моделюванні спрямовує трафік між конкуруючими версіями моделей для вимірювання реальної продуктивності, тоді як розгортання однієї моделі надає одну модель усім користувачам. Команди обирають між ними на основі толерантності до ризику, обсягу трафіку та необхідності статистичної перевірки перед повним розгортанням.
A/B-тестування в релізах контенту передбачає розгортання варіацій для різних сегментів аудиторії та вимірювання ефективності, тоді як одноразові релізи контенту пропонують одну версію всім одночасно. Кожен підхід відповідає різним цілям, причому A/B-тестування надає перевагу оптимізації на основі даних, а одноразові релізи надають пріоритет швидкості та простоті.
DeepSeek V4 — це нова модель великої мови програмування відкритої ваги від китайської лабораторії штучного інтелекту, тоді як моделі класу GPT-4 відносяться до флагманських систем із закритим кодом OpenAI. Це порівняння досліджує їхні архітектури, можливості, ціни, доступність та реальну продуктивність, щоб допомогти розробникам та компаніям робити правильний вибір.
LLM, що використовують інструменти, розширюють автономні мовні моделі, підключаючи їх до зовнішніх API, калькуляторів та баз даних, що дозволяє отримувати інформацію та виконувати завдання в режимі реального часу. Автономні LLM покладаються виключно на навчені параметри, що робить їх самостійними, але обмеженими знаннями з навчальних даних.
LLM з відкритим кодом пропонують налаштовувані, самостійно розміщені моделі штучного інтелекту з повним доступом до коду, тоді як власні API LLM надають керовані, відшліфовані послуги через хмарні кінцеві точки з ціноутворенням на основі використання.
