Prognozavimo tikslumas matuoja, kaip gerai modelio prognozės atitinka realaus pasaulio rezultatus, o modelio atsparumas matuoja sistemos gebėjimą išlaikyti našumą susidūrus su priešiškomis atakomis, duomenų dreifais ar aplinkos pokyčiais. Abu šie rodikliai lemia, kaip vertiname dirbtinio intelekto patikimumą, tačiau jie dažnai nukreipia modelio dizainą skirtingomis kryptimis.
Mašininio mokymosi modelio prognozių atitikimo faktiniams stebimiems rezultatams laipsnis.
Modelio gebėjimas išlaikyti priimtiną našumą esant stresui, trikdžiams ar kintančioms sąlygoms.
| Funkcija | Nuspėjamasis tikslumas | Modelio atsparumas |
|---|---|---|
| Pagrindinis dėmesys | Prognozių apie laukiamus duomenis teisingumas | Stabilumas netikėtomis ar nepalankiomis sąlygomis |
| Pagrindinės grėsmės | Per didelis pritaikymas, imties šališkumas, nepakankamos savybės | Priešiškos atakos, duomenų dreifas, sistemos gedimai |
| Matavimo metodas | Kryžminis patvirtinimas, išlaikymo testavimas, etaloniniai balai | Stresinis testavimas, raudonojo testavimo (angl. red teaming) taikymas, patikimumo auditai |
| Optimizavimo kompromisas | Gali paaukoti atsparumą siekiant maksimalaus našumo naudojant švarius duomenis | Gali būti priimtinas mažesnis bazinis tikslumas siekiant didesnio patikimumo |
| Tipinis taikymas | Rekomendacijų sistemos, prognozavimas, reitingavimo sistemos | Autonominės sistemos, sukčiavimo aptikimas, medicininis dirbtinis intelektas |
| Pramonės standartai | Tikslumas, preciziškumas, atkūrimas, F1 balas, MAE, RMSE | Atsparumo sertifikavimas, konkurenciniai testų rinkiniai, atsparumo sistemos |
| Tyrimo akcentavimas | Naujos architektūros, didesni duomenų rinkiniai, hiperparametrų derinimas | Gynybiniai mokymai, neapibrėžtumo kiekybinis įvertinimas, paskirstymo ribų aptikimas |
Nuspėjamasis tikslumas atsako į paprastą klausimą: kaip dažnai šis modelis yra teisingas? Jis naudojamas kaip numatytasis sėkmės rodiklis daugumoje mašininio mokymosi procesų – nuo klientų praradimo prognozavimo iki ligų diagnozavimo. Tačiau modelio atsparumas užduoda sunkesnį klausimą: ar modelis išlieka teisingas, kai kas nors nutinka ne taip? Tai apima viską – nuo kameros aptaškymo purvu iki piktavalio veikėjo, sukuriančio apgaulingus duomenis.
Modelis, kurio tikslumas laboratorinėmis sąlygomis siekia 99 %, gamyboje gali sugriūti. Tyrimai parodė, kad vaizdų klasifikatorius gali apgauti nepastebimi pikselių pokyčiai, o NLP modeliai sugenda susidūrę su rašybos klaidomis ar dialekto variacijomis. Į atsparumą orientuota inžinerija numato šiuos gedimus, o ne tikisi, kad jų nebus. Atotrūkis tarp etaloninio tikslumo ir realaus pasaulio patikimumo išlieka viena brangiausių dirbtinio intelekto problemų.
Siekis maksimalaus prognozavimo tikslumo dažnai veda prie sudėtingų, per daug parametruotų modelių, kurie įsimena mokymo šablonus. Šie modeliai paprastai yra trapūs – nedideli įvesties pakeitimai duoda labai skirtingus rezultatus. Paprastesni modeliai arba tie, kurie apmokyti naudojant reguliarizavimą ir prieštaringų pavyzdžių analizę, gali gauti šiek tiek mažiau rezultatų švariuose etalonuose, tačiau diegimo metu jie pasirodo esą daug patikimesni. Komandos turi nuspręsti, kuris rodiklis atitinka jų rizikos toleranciją.
Tikslumas vertinamas taikant nusistovėjusius protokolus: padalinkite duomenis, apmokykite, išbandykite, galbūt atlikite kryžminį patvirtinimą. Atsparumo vertinimas yra painesnis ir kūrybiškesnis. Inžinieriai gali įterpti Gauso triukšmą, imituoti jutiklių degradaciją arba pasamdyti raudonąsias komandas, kad šios atakuotų modelį. Tokios organizacijos kaip NIST pradėjo kurti standartizuotus patikimumo testus, tačiau šioje srityje trūksta universalių kriterijų, kuriais pasižymi tikslumas.
Filmų rekomendavimo sistemai nedidelis tikslumo sumažėjimas mažai ką reiškia – vartotojai gali matyti šiek tiek mažiau aktualų pasiūlymą. Autonominėse transporto priemonėse ar atliekant vėžio patikras atsparumo sutrikimai gali būti mirtini. Reguliavimo institucijos vis dažniau reikalauja modelio atsparumo įrodymų, o ne tik tikslumo ataskaitų. ES Dirbtinio intelekto įstatymas ir FDA gairės dėl dirbtinio intelekto pagrįstų medicinos prietaisų pabrėžia patikimumą ir stebėseną po diegimo.
Didesnis prognozavimo tikslumas praktikoje visada reiškia geresnį modelį.
Modelis, pasižymintis šiek tiek mažesniu tikslumu, bet didesniu atsparumu, dažnai suteikia daugiau verslo vertės. Statinių testų rinkiniuose išmatuotas tikslumas neatspindi, kaip modeliai elgiasi, kai įvesties duomenys nukrypsta nuo mokymo skirstinių, o tai ir lemia daugumą realaus pasaulio gedimų.
Modelio atsparumas svarbus tik saugumo požiūriu kritinėms programoms.
Kiekvienas įdiegtas modelis susiduria su kintančiais duomenimis. Mažmeninės prekybos paklausos prognozavimo modelis, kuris puikiai veikė 2019 m., greičiausiai nepasiteisino pandemijos laikų apsipirkimo pamainų metu. Atsparumas lemia, ar modelis prisitaiko, ar tampa technine skola.
Galite saugiai optimizuoti tikslumą ir atsparumą vienu metu be kompromisų.
Tyrimai nuolat rodo prieštaravimus tarp šių tikslų. Priešingybės mokymai, pagrindinė atsparumo technika, paprastai sumažina švarių duomenų tikslumą keliais procentiniais punktais. Optimali pusiausvyra priklauso nuo taikymo konteksto.
Atsparumas – tai tiesiog gynyba nuo įsilaužėlių.
Priešiškos atakos yra viena iš daugelio atsparumo problemų. Natūralūs trikdžiai, tokie kaip jutiklių gedimai, oro sąlygų poveikis kameroms, žmogaus klaidos įvedant duomenis ir laipsniškas koncepcijos pokytis, lemia visą bandymų modelio atsparumą. Grėsmių sritis yra platesnė nei vien kibernetinis saugumas.
Jei modelis sėkmingai praeina patvirtinimą, jis bus pakankamai atsparus.
Patvirtinimo rinkiniai paprastai tiksliai atspindi mokymo duomenis. Atsparumo sutrikimai atsiranda būtent ten, kur bandymo sąlygos nukrypsta nuo šio patogaus sutapimo. Būtinas specialus atsparumo testavimas, viršijantis standartinį patvirtinimą.
Dirbdami stabilioje, mažai rizikingoje aplinkoje, kur duomenų pasiskirstymas išlieka nuoseklus, o klaidos – pigios, rinkitės nuspėjamąjį tikslumą. Diegdami dirbtinį intelektą dinamiškuose, priešiškuose ar saugai svarbiuose kontekstuose, kur gedimo kaina gerokai viršija ribinio tikslumo padidėjimo naudą, pirmenybę teikite modelio atsparumui. Daugumai gamybinių sistemų galiausiai reikia abiejų, kruopščiai subalansuotų.
„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.
„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.
„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.
„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.
A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.
