Prognozinis modeliavimas realioje aplinkoje naudoja tiesioginius duomenis, kad prognozuotų rezultatus netvarkingose, nekontroliuojamose situacijose, o kontroliuojami eksperimentai išskiria kintamuosius dirbtinėmis sąlygomis, kad tiksliai nustatytų priežastinius ryšius.
Naudoja istorinius ir tiesioginius duomenis, kad prognozuotų rezultatus dinamiškose, nekontroliuojamose realaus pasaulio situacijose.
Izoliuoja kintamuosius dirbtinai sukurtoje aplinkoje, kad nustatytų aiškius priežasties ir pasekmės ryšius.
| Funkcija | Prognozinis modeliavimas realioje aplinkoje | Kontroliuojami eksperimentai |
|---|---|---|
| Pagrindinis tikslas | Prognozuoti būsimus rezultatus ar modelius | Nustatyti priežastinius ryšius |
| Duomenų aplinka | Triukšminga, nepilna, dinamiškai kintanti | Švarus, pilnas, statiškas tyrimo metu |
| Apibendrinamumas | Didelis išorinis validumas, mažesnis vidinis validumas | Didelis vidinis galiojimas, mažesnis išorinis galiojimas |
| Etiniai apribojimai | Dažnai stebimas, reikia mažiau intervencijų | Gali reikėti nutraukti naudingą gydymą |
| Mastelio keitimas | Gali panaudoti didžiulius esamus duomenų rinkinius | Reikalingas apgalvotas projektavimas ir išteklių paskirstymas |
| Sutrikimų valdymas | Statistinis koregavimas, dažnai netobulas | Atsitiktinumas pasiskirsto tolygiai |
| Realaus pasaulio pavyzdys | „Netflix“ rekomendacijų sistema mokosi iš žiūrėjimo įpročių | Klinikinis tyrimas, kuriuo tiriamas vaisto veiksmingumas, palyginti su placebu |
| Pagrindinė rizika | Modelio nykimas keičiantis sąlygoms | Dirbtiniai rezultatai, kurie neperteikiami už laboratorijos ribų |
Prognozinis modeliavimas remiasi mašininiu mokymusi, statistika ir srities patirtimi, siekiant sukurti sistemas, kurios apibendrina praeities modelius. Praktikai sutinka, kad daugeliui pritaikymų pakanka koreliacijos. Tuo tarpu kontroliuojamuose eksperimentuose sąmoningai kuriami dirbtiniai scenarijai, kuriuose priežastinį ryšį galima izoliuoti taikant atsitiktinę atranką ir manipuliavimą. Šių metodų įtampa nėra nauja – Ronaldas Fisheris buvo eksperimentinio dizaino pradininkas žemės ūkyje, o ankstyvieji statistikai diskutavo, ar stebėjimo tyrimai iš tikrųjų gali konkuruoti.
Realaus pasaulio modeliai naudojasi bet kokiais egzistuojančiais duomenimis, dažnai reikalaujančiais sudėtingo išankstinio apdorojimo, kad būtų galima apdoroti trūkstamas vertes, atrankos šališkumą ir matavimo paklaidas. Privalumai yra didžiulis duomenų kiekis ir autentiškumas. Kontroliuojami eksperimentai generuoja savo duomenis, užtikrindami išsamumą ir atitikimą tyrimo klausimui, tačiau tai kainuoja mastą ir natūralumą. Technologijų įmonė gali pasyviai stebėti milijardus vartotojų sąveikų, tačiau atsitiktinių imčių kontroliuojamas tyrimas su dešimčia tūkstančių dalyvių yra didžiulis uždavinys.
Realioje aplinkoje naudojami modeliai susiduria su koncepcijos dreifu – laipsnišku ar staigiu tikslinių kintamųjų statistinių savybių pokyčiu. Tai, kas prognozavo klientų praradimą praėjusį ketvirtį, gali visiškai žlugti ekonomikos nuosmukio metu. Kontroliuojami eksperimentai paprastai yra momentiniai vertinimai, nors egzistuoja ir išilginiai modeliai. Užbaigti jie neprisitaiko, o informuoja. Dėl to nuspėjamasis modeliavimas labiau tinka nuolatiniams veiklos sprendimams, o eksperimentai geriau padeda atsakyti į vienkartinius strateginius klausimus.
Stebėjimo prognozavimo sistemos gali įtvirtinti istorinius šališkumus samdant, skolinant ir vykdant baudžiamąją teiseną niekam sąmoningai nepakenkdamos. Kontroliuojami eksperimentai kelia skirtingus etinius pavojaus signalus – atsitiktinai atmetant potencialiai naudingą gydymą arba atliekant tiriamųjų darbą su nežinoma rizika. Technologijų įmonės susidūrė su neigiama reakcija dėl neskaidrių eksperimentų, tokių kaip „Facebook“ emocinio užkrato tyrimas, o nuspėjamojo policijos darbo algoritmai sulaukė kritikos dėl esamų skirtumų sustiprinimo.
Pačios patikimiausios tyrimų programos vis dažniau derina abu metodus. Kvazieksperimentiniai metodai, tokie kaip instrumentiniai kintamieji ir skirtumų skirtumas, suteikia stebėjimo duomenims eksperimentinės logikos. Tuo tarpu „banditų“ algoritmai ir kontekstiniai eksperimentai įtraukia kontroliuojamą atsitiktinumą į tiesiogines prognozavimo sistemas. Tokios įmonės kaip „Netflix“ ir „Spotify“ nuolat atlieka tūkstančius vienu metu atliekamų eksperimentų, o jų rekomendacijų modeliai mokosi iš organinio vartotojų elgesio.
Prognozavimo modeliai gali nustatyti priežastinį ryšį, jei jie yra pakankamai tikslūs.
Didelis prognozavimo tikslumas atskleidžia koreliaciją ir modelį, o ne mechanizmą. Modelis gali puikiai prognozuoti ledų pardavimus, naudodamas skendimo incidentų duomenis, nesukeldamas nė vieno kito. Priežastiniams teiginiams reikalingos papildomos struktūrinės prielaidos arba eksperimentinis patvirtinimas, kurio vien prognozavimas negali suteikti.
Kontroliuojami eksperimentai visada yra patikimesni nei stebėjimo tyrimai.
Eksperimentų kokybė labai skiriasi. Mažos imtys, publikacijų šališkumas, p-hacking ir abejotina tyrimų praktika pakirto pasitikėjimą ištisomis sritimis. Kai kurie gerai suplanuoti stebėjimo tyrimai su stipriais instrumentais pranoksta neatsargius eksperimentus. Svarbiau nei etiketė – tyrimo plano detalės.
Realaus pasaulio duomenys iš esmės yra geresni, nes jie natūralesni.
Natūralistiniai duomenys turi visus juos sukūrusių sistemų šališkumus, matavimo klaidas ir istorinius atsitiktinumus. Kartais dirbtinės sąlygos išaiškina tiesas, kurias užgožia stebėjimo triukšmas. Duomenų „natūralumas“ automatiškai nesuteikia mokslinio vertingumo.
A/B testai technologijų įmonėse yra lygiaverčiai moksliniams eksperimentams.
Nors technologiniai A/B testai vadovaujasi atsitiktinės atrankos logika, jie dažnai teikia pirmenybę trumpalaikiams įsitraukimo rodikliams, o ne vartotojų gerovei, jiems trūksta išankstinės registracijos ir jie susiduria su selektyvia ataskaitų teikimu. Mastelis įspūdingas, tačiau mokslinis griežtumas dažnai neatitinka akademinių standartų.
Reikia rinktis tarp prognozavimo ir paaiškinimo.
Šiuolaikinis priežastinis mašininis mokymasis vis labiau įveikia šią prarają. Tokie metodai kaip dvigubas mašininis mokymasis, priežastiniai miškai ir tikslinis didžiausios tikimybės įvertinimas siekia tiek nuspėjamojo našumo, tiek pagrįstų priežastinių išvadų. Ši dichotomija yra perdėta.
Koncepcijos poslinkis realaus pasaulio prognozavimą daro neįmanomą.
Nors ir sudėtinga, poslinkį galima aptikti ir valdyti stebint, perkvalifikuojant gamybos srautus ir naudojant tvirtas modelių architektūras. Daugelis gamybos sistemų efektyviai veikia daugelį metų, tinkamai prižiūrimos. Sunkumai yra susiję su eksploatavimu, o ne su esminiais dalykais.
Rinkitės nuspėjamąjį modeliavimą realioje aplinkoje, kai jums reikia nuolat prisitaikyti prie kintančių sąlygų ir galite toleruoti tam tikrą priežastinio ryšio neapibrėžtumą. Rinkitės kontroliuojamus eksperimentus, kai svarbiau nustatyti, ar intervencija iš tikrųjų sukelia poveikį, o ne pritaikyti ją prie natūralaus sudėtingumo. Daugumai organizacijų galiausiai reikia abiejų: eksperimentų, kad būtų galima patvirtinti, kas veikia, ir nuspėjamųjų modelių, kad būtų galima tas įžvalgas diegti ir tobulinti dideliu mastu.
„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.
„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.
„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.
„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.
A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.
