Prognózy založené na strojovém učení se spoléhají na algoritmy trénované na historických datech k předpovídání budoucích výsledků, zatímco prognózy založené na lidských expertech vycházejí z profesionálního úsudku, znalostí oboru a kontextového uvažování. Oba přístupy mají své silné stránky a mnoho organizací je nyní kombinuje pro přesnější předpovědi.
Datově řízený přístup, který využívá algoritmy trénované na historických datových sadách k identifikaci vzorců a generování předpovědí o budoucích událostech.
Přístup založený na úsudku, kde specialisté v dané oblasti využívají zkušenosti, intuici a kontextové porozumění k vytváření předpovědí o budoucích výsledcích.
| Funkce | Předpovídání strojového učení | Předpovídání lidskými experty |
|---|---|---|
| Primární vstup | Historická číselná data | Znalost oboru, zkušenosti, kvalitativní kontext |
| Rychlost predikce | Téměř okamžitý po natrénování | Pomalejší, vyžaduje důkladnou analýzu |
| Zvládání událostí Black Swan | Chudý bez rekvalifikace | Silný, dokáže uvažovat o nových scénářích |
| Škálovatelnost | Vysoká škálovatelnost napříč mnoha úkoly | Omezeno dostupným časem experta |
| Interpretace | Často černá skříňka, ačkoli existují nástroje pro vysvětlení | Rozhodnutí lze vysvětlit uvažováním |
| Náchylnost k předsudkům | Odráží zkreslení v trénovacích datech | Podléhá kognitivním zkreslením, jako je ukotvení a přehnaná sebedůvěra |
| Struktura nákladů | Vysoké počáteční náklady, nízké mezní náklady | Vyžaduje se průběžná odborná odměna |
| Adaptabilita na změnu | Vyžaduje přeškolení pro práci s novými daty | Může upravovat uvažování v reálném čase |
Výzkum projektu Good Judgment od Philipa Tetlocka ukázal, že špičkoví lidští superprognostici překonávají algoritmické základní hodnoty v geopolitických otázkách zhruba o 30 %. V oblastech s dostatkem historických dat, jako je předpověď počasí nebo poptávka v maloobchodě, však modely strojového učení často s velkým náskokem překonávají lidský úsudek. Vítěz v přesnosti skutečně závisí na tom, zda se budoucnost podobá minulosti.
Modely strojového učení potřebují pro svůj dobrý výkon značné množství čistých a strukturovaných dat a potýkají se s problémy, když jsou tato data řídká nebo zašumělá. Lidští experti mohou vytvářet rozumné předpovědi i s omezenými informacemi na základě analogií a předchozích zkušeností. Na druhou stranu, jakmile je model strojového učení natrénován, generování tisíců predikcí nestojí téměř nic, zatímco škálování lidských odborných znalostí vyžaduje najímání a školení více lidí.
Zainteresované strany často chtějí pochopit, proč prognóza říká to, co říká, a lidští experti si obvykle mohou jejich uvažování krok za krokem vysvětlit. Mnoho modelů strojového učení, zejména hluboké neuronové sítě, fungují jako černé skříňky, kde je vnitřní logika neprůhledná. Nástroje pro vysvětlení, jako jsou SHAP a LIME, pomáhají, ale zvyšují složitost a ne vždy uspokojí regulační orgány nebo osoby s rozhodovací pravomocí, které potřebují jasná zdůvodnění.
Když se stane něco skutečně bezprecedentního, jako je pandemie COVID-19, která naruší dodavatelské řetězce po celém světě, modely strojového učení trénované na datech z doby před pandemií často dramaticky selhávají, dokud nejsou přeškoleny. Lidští experti dokáží uvažovat o nových scénářích na základě základních principů a upravovat své mentální modely za pochodu. Tato přizpůsobivost činí lidský úsudek obzvláště cenným v obdobích strukturálních změn nebo krizí.
Vybudování schopného systému pro předpovídání založeného na strojovém učení vyžaduje investice do datové infrastruktury, technických talentů a výpočetních zdrojů, ale mezní náklady na predikci jsou následně nepatrné. Předpovídání založené lidskými experty vyžaduje neustálé výdaje na platy, školicí programy a často i konkurenceschopné odměňování, aby si organizace udržely špičkové talenty. Pro organizace s omezeným rozpočtem se volba často omezuje na to, zda mají data nebo přístup k odborným znalostem.
Nejpřesnější předpovědi stále častěji pocházejí z kombinace obou metod, spíše než z výběru jedné. Strojové učení zvládne těžké kvantitativní výpočty a povrchové vzorce, zatímco lidští experti kontrolují výstupy, upravují kvalitativní faktory a přepisují model, když vycítí, že něco není v pořádku. Tento přístup zapojení člověka se stává standardní praxí v oblastech od financí po epidemiologii.
Strojové učení vždy vytváří přesnější předpovědi než lidé.
Přesnost silně závisí na dané oblasti. Ve stabilním prostředí bohatém na data často vítězí strojové učení (ML), ale v nových nebo rychle se měnících situacích zkušení lidé, kteří předpovídají, často překonávají algoritmy. Studie, jako je Tetlockův výzkum superprognostiků, ukazují, že lidé mohou v geopolitických otázkách překonat základní hodnoty ML.
Předpovídání lidskými experty je jen hádání založené na intuici.
Zkušení experti v prognózování používají strukturované metody, jako je předpovídání na základě referenčních tříd, dekompozice a aktualizace pravděpodobnosti. Sledují své předpovědi, učí se z chyb a používají rigorózní uvažování, spíše než aby se spoléhali pouze na intuici.
Jakmile je model prognózy ML natrénován, nikdy není nutné jej aktualizovat.
Modely se časem zhoršují, jak se reálné vzorce mění, což je problém známý jako konceptový drift. Většina produkčních systémů strojového učení vyžaduje pravidelné přeškolování, monitorování a údržbu, aby zůstala přesná.
Více dat vždy zlepšuje předpovědi strojového učení.
Kvalita dat je stejně důležitá jako kvantita. Zkreslená, zastaralá nebo zašumělá data mohou ve skutečnosti předpovědi zhoršit a přidání dalších stejných chybných dat základní problémy nevyřeší.
Lidští experti jsou příliš zaujatí na to, aby mohli spolehlivě předpovídat.
I když existují kognitivní zkreslení, strukturované prognostické techniky a agregace předpovědí od více nezávislých expertů toto zkreslení významně snižují. Tetlockův výzkum ukázal, že agregované expertní předpovědi mohou být pozoruhodně přesné.
Prognózování pomocí strojového učení zvolte, pokud máte k dispozici dostatek historických dat, potřebujete předpovědi ve velkém měřítku a pracujete v relativně stabilním prostředí. Prognózování pomocí lidského experta zvolte, pokud se zabýváte novými situacemi, omezenými daty nebo scénáři, kde je kontextové uvažování důležitější než rozpoznávání vzorů. U většiny závažných aplikací dosahujete nejlepších výsledků kombinací obou přístupů, než aby se s nimi zacházelo jako s konkurencí.
A/B testování u vydání obsahu zahrnuje zavádění variant pro různé segmenty publika a měření výkonu, zatímco jednorázová vydání obsahu nabídnou jednu verzi všem najednou. Každý přístup vyhovuje jiným cílům, přičemž A/B testování upřednostňuje optimalizaci na základě dat a jednorázová vydání upřednostňují rychlost a jednoduchost.
A/B testování v modelovém servisu směruje provoz mezi konkurenčními verzemi modelů za účelem měření reálného výkonu, zatímco nasazení jednoho modelu dodává jeden model všem uživatelům. Týmy si mezi nimi vybírají na základě tolerance rizika, objemu provozu a potřeby statistického ověření před plným nasazením.
Toto srovnání analyzuje strategické volby v oblasti strojového učení mezi adaptací domény, která přenáší znalosti z označeného zdrojového prostředí do jiného cílového prostředí, a školením v doméně, které vytváří modely výhradně na datech získaných z přesného cílového nastavení nasazení.
Toto podrobné srovnání zkoumá architektonické rozdíly, provozní limity a reálný výkon adaptivních inteligentních systémů v porovnání s automatizačními systémy s pevným chováním. Zaměřujeme se na to, jak se systémy, které se neustále učí z nových environmentálních dat, vyrovnávají s rigidními, předvídatelnými rámci založenými na pravidlech.
Adaptivní vyhledávání dynamicky upravuje, jak a jaké informace systém načítá, na základě dotazu, zatímco statické vyhledávání se řídí pevnými pravidly bez ohledu na kontext. Oba systémy pohánějí moderní aplikace umělé inteligence, ale výrazně se liší ve flexibilitě, nákladech a přesnosti. Výběr mezi nimi závisí na složitosti pracovní zátěže a rozpočtu.
