Predpovedanie pomocou strojového učenia sa spolieha na algoritmy trénované na historických údajoch na predpovedanie budúcich výsledkov, zatiaľ čo predpovedanie ľudskými expertmi vychádza z profesionálneho úsudku, odborných znalostí a kontextového uvažovania. Oba prístupy majú odlišné silné stránky a mnohé organizácie ich teraz kombinujú pre presnejšie predpovede.
Prístup založený na dátach, ktorý využíva algoritmy trénované na historických súboroch údajov na identifikáciu vzorcov a generovanie predpovedí o budúcich udalostiach.
Prístup založený na úsudku, kde odborníci v danej oblasti využívajú skúsenosti, intuíciu a kontextové porozumenie na predpovedanie budúcich výsledkov.
| Funkcia | Predpovedanie strojového učenia | Predpovedanie ľudskými expertmi |
|---|---|---|
| Primárny vstup | Historické číselné údaje | Znalosť domény, skúsenosti, kvalitatívny kontext |
| Rýchlosť predikcie | Takmer okamžitý po natrénovaní | Pomalšie, vyžaduje si dôkladnú analýzu |
| Riešenie udalostí Black Swan | Chudobný bez preškolenia | Silný, dokáže uvažovať o nových scenároch |
| Škálovateľnosť | Vysoká škálovateľnosť v rámci mnohých úloh | Obmedzené dostupným časom experta |
| Interpretovateľnosť | Často ide o čiernu skrinku, hoci existujú nástroje na vysvetlenie | Rozhodnutia sa dajú vysvetliť uvažovaním |
| Náchylnosť na skreslenie | Odráža skreslenia v tréningových dátach | Podlieha kognitívnym skresleniam, ako je ukotvenie a prehnaná sebadôvera |
| Štruktúra nákladov | Vysoké počiatočné náklady, nízke marginálne náklady | Vyžaduje sa priebežná odborná kompenzácia |
| Prispôsobivosť zmene | Vyžaduje si preškolenie na prácu s novými údajmi | Môže upravovať uvažovanie v reálnom čase |
Výskum z projektu Good Judgment od Philipa Tetlocka ukázal, že špičkoví superprognostici prekonali algoritmické východiskové hodnoty v geopolitických otázkach približne o 30 %. V oblastiach s množstvom historických údajov, ako sú predpovede počasia alebo dopyt v maloobchode, však modely strojového učenia často výrazne prekonávajú ľudský úsudok. Víťaz v presnosti skutočne závisí od toho, či sa budúcnosť podobá minulosti.
Modely strojového učenia potrebujú na dobrý výkon značné množstvo čistých a štruktúrovaných údajov a majú problém, keď sú tieto údaje riedke alebo zašumené. Ľudskí experti dokážu robiť rozumné predpovede aj s obmedzenými informáciami na základe analógií a predchádzajúcich skúseností. Na druhej strane, akonáhle je model strojového učenia natrénovaný, generovanie tisícok predpovedí nestojí takmer nič, zatiaľ čo škálovanie ľudských odborných znalostí si vyžaduje najímanie a školenie ďalších ľudí.
Zainteresované strany často chcú pochopiť, prečo prognóza hovorí to, čo hovorí, a ľudskí experti zvyčajne môžu krok za krokom prejsť ich zdôvodnením. Mnohé modely strojového učenia, najmä hlboké neurónové siete, fungujú ako čierne skrinky, kde je vnútorná logika nepriehľadná. Nástroje na vysvetlenie, ako sú SHAP a LIME, pomáhajú, ale zvyšujú zložitosť a nie vždy uspokoja regulačné orgány alebo osoby s rozhodovacou právomocou, ktoré potrebujú jasné zdôvodnenia.
Keď sa stane niečo skutočne bezprecedentné, ako napríklad pandémia COVID-19, ktorá naruší dodávateľské reťazce na celom svete, modely strojového učenia trénované na údajoch spred pandémie často dramaticky zlyhávajú, kým nie sú preškolené. Ľudskí experti dokážu uvažovať o nových scenároch pomocou základných princípov a upravovať svoje mentálne modely za pochodu. Táto prispôsobivosť robí ľudský úsudok obzvlášť cenným v obdobiach štrukturálnych zmien alebo kríz.
Vybudovanie schopného systému predpovedí založeného na strojovom učení si vyžaduje investície do dátovej infraštruktúry, technických talentov a výpočtových zdrojov, ale marginálne náklady na predpoveď sú následne malé. Predpovede vytvorené ľudskými expertmi si vyžadujú neustále výdavky na platy, školiace programy a často aj konkurencieschopné odmeňovanie, aby si udržali špičkové talenty. Pre organizácie s obmedzenými rozpočtami sa voľba často redukuje na to, či majú údaje alebo prístup k odborným znalostiam.
Najpresnejšie predpovede čoraz častejšie pochádzajú z kombinácie oboch metód, a nie z výberu jednej. Strojové učenie dokáže zvládnuť ťažké kvantitatívne úlohy a povrchové vzorce, zatiaľ čo ľudskí experti kontrolujú výstupy, upravujú kvalitatívne faktory a prepíšu model, keď vycítia, že niečo nie je v poriadku. Tento prístup založený na zapojení človeka sa stáva štandardnou praxou v oblastiach od financií až po epidemiológiu.
Strojové učenie vždy vytvára presnejšie predpovede ako ľudské.
Presnosť vo veľkej miere závisí od oblasti. V stabilných prostrediach bohatých na dáta často víťazí strojové učenie (ML), ale v nových alebo rýchlo sa meniacich situáciách skúsení ľudia v predpovedi často prekonávajú algoritmy. Štúdie ako Tetlockov výskum superprognostikov ukazujú, že ľudia dokážu prekonať základné úrovne ML v geopolitických otázkach.
Predpovedanie ľudských expertov je len hádanie založené na intuícii.
Zruční experti v prognózovaní používajú štruktúrované metódy, ako je predpovedanie referenčných tried, dekompozícia a aktualizácia pravdepodobnosti. Sledujú svoje predpovede, učia sa z chýb a používajú prísne uvažovanie, namiesto toho, aby sa spoliehali len na intuíciu.
Po natrénovaní už model predikcie strojového učenia nikdy netreba aktualizovať.
Modely sa časom zhoršujú, pretože sa menia reálne vzorce, čo je problém známy ako konceptový drift. Väčšina produkčných systémov strojového učenia vyžaduje pravidelné preškolenie, monitorovanie a údržbu, aby zostala presná.
Viac údajov vždy zlepšuje predpovede strojového učenia.
Kvalita údajov je rovnako dôležitá ako kvantita. Skreslené, zastarané alebo zašumené údaje môžu v skutočnosti zhoršiť predpovede a pridávanie ďalších rovnakých chybných údajov neodstraňuje základné problémy.
Ľudskí experti sú príliš zaujatí na to, aby spoľahlivo predpovedali.
Hoci existujú kognitívne skreslenia, štruktúrované prognostické techniky a agregovanie predpovedí od viacerých nezávislých expertov skreslenie výrazne znižujú. Tetlockov výskum ukázal, že agregované expertné predpovede môžu byť pozoruhodne presné.
Predpovede strojového učenia zvoľte, keď máte k dispozícii množstvo historických údajov, potrebujete predpovede vo veľkom meradle a pracujete v relatívne stabilnom prostredí. Predpovede založené na ľudských expertoch zvoľte, keď sa zaoberáte novými situáciami, obmedzenými údajmi alebo scenármi, kde je kontextové uvažovanie dôležitejšie ako rozpoznávanie vzorov. Pre väčšinu vážnych aplikácií dosahujú najlepšie výsledky kombináciou oboch prístupov, a nie ich vnímaním ako konkurenčných.
A/B testovanie v modelových službách smeruje prevádzku medzi konkurenčnými verziami modelov na meranie reálneho výkonu, zatiaľ čo nasadenie jedného modelu poskytuje jeden model všetkým používateľom. Tímy si medzi nimi vyberajú na základe tolerancie rizika, objemu prevádzky a potreby štatistického overenia pred úplným nasadením.
A/B testovanie pri vydávaní obsahu zahŕňa zavádzanie variácií pre rôzne segmenty publika a meranie výkonnosti, zatiaľ čo jednorazové vydania obsahu ponúkajú jednu verziu všetkým naraz. Každý prístup vyhovuje iným cieľom, pričom A/B testovanie uprednostňuje optimalizáciu na základe dát a jednorazové vydania uprednostňujú rýchlosť a jednoduchosť.
Toto porovnanie analyzuje strategické voľby v strojovom učení medzi adaptáciou domény, ktorá prenáša znalosti z označeného zdrojového prostredia do iného cieľového prostredia, a školením v rámci domény, ktoré vytvára modely výlučne na základe údajov získaných z presného cieľového nastavenia nasadenia.
Toto podrobné porovnanie skúma architektonické rozdiely, prevádzkové limity a reálny výkon adaptívnych inteligenčných systémov v porovnaní so systémami automatizácie s pevným správaním. Pozrieme sa na to, ako systémy, ktoré sa neustále učia z nových environmentálnych údajov, fungujú v porovnaní s rigidnými, predvídateľnými rámcami založenými na pravidlách.
Adaptívne vyhľadávanie dynamicky upravuje spôsob a aké informácie systém načítava na základe dotazu, zatiaľ čo statické vyhľadávacie kanály sa riadia pevnými pravidlami bez ohľadu na kontext. Obe poháňajú moderné aplikácie umelej inteligencie, ale výrazne sa líšia vo flexibilite, nákladoch a presnosti. Výber medzi nimi závisí od zložitosti pracovnej záťaže a rozpočtu.
