Modelio našumo blogėjimas reiškia laipsnišką arba staigų dirbtinio intelekto modelio tikslumo ir patikimumo mažėjimą laikui bėgant, o modelio našumo stabilumas apibūdina modelio gebėjimą išlaikyti nuoseklius, nuspėjamus rezultatus įvairiomis sąlygomis. Abiejų sąvokų supratimas yra būtinas kuriant patikimas, gamybai paruoštas mašininio mokymosi sistemas.
Dirbtinio intelekto modelio tikslumo, patikimumo ar nuspėjamosios kokybės mažėjimas laikui bėgant arba kintant sąlygoms.
Modelio gebėjimas pateikti nuoseklias ir patikimas prognozes, atsižvelgiant į įvairius įvesties duomenis, laikotarpius ir veikimo sąlygas.
| Funkcija | Modelio našumo pablogėjimas | Modelio našumo stabilumas |
|---|---|---|
| Apibrėžimas | Modelio tikslumo ar patikimumo mažėjimas laikui bėgant | Modelio veikimo nuoseklumas skirtingomis sąlygomis |
| Pokyčių kryptis | Neigiamas – našumas pablogėja | Neutralus – našumas išlieka stabilus |
| Pagrindinis rūpestis | Kokybės praradimo nustatymas ir prevencija | Nuspėjamų, pakartojamų rezultatų užtikrinimas |
| Dažnos priežastys | Duomenų dreifas, koncepcijos dreifas, pasenę mokymo duomenys | Tvirta architektūra, reguliavimas, įvairūs mokymo duomenys |
| Matavimo metodas | Tikslumo rodiklių stebėjimas laikui bėgant | Dispersijos analizė ir testavimas nepalankiausiomis sąlygomis |
| Švelninimo strategijos | Perkvalifikavimas, duomenų atnaujinimas, modelio atnaujinimas | Tvirtas mokymas, patvirtinimas, ansamblio metodai |
| Laiko horizontas | Ilgalaikio stebėjimo dėmesys | Tiek trumpalaikis, tiek ilgalaikis nuoseklumas |
| Pramonės svarba | Svarbu išlaikyti mašininio mokymosi investicijų grąžą (ROI) | Svarbus saugos požiūriu svarbioms ir reglamentuojamoms reikmėms |
Našumo pablogėjimas iš esmės yra problema, kurią reikia išspręsti – tai reiškia, kad po diegimo kažkas negerai veikia modelį. Kita vertus, stabilumas yra savybė, kurią reikia sukurti ir palaikyti. Vienas dėmesys skiriamas nuosmukio aptikimui, o kitas – atsparumo inžinerijai. Praktiškai komandos dažnai siekia stabilumo būtent tam, kad sumažintų pablogėjimą per visą modelio gyvavimo ciklą.
Degradacija paprastai kyla dėl išorinių veiksnių: keičiasi modelis aplink pasaulį. Naujas vartotojų elgesys, besikeičianti demografinė padėtis, reguliavimo pokyčiai ar besikeičiantys sukčiavimo modeliai – visa tai stumia modelio įvesties pasiskirstymą nuo to, su kuo jis buvo apmokytas. Stabilumo problemos dažniausiai kyla dėl vidinių veiksnių, tokių kaip modelio architektūros pasirinkimas, mokymo duomenų kokybė arba hiperparametrų jautrumas. Abu šie veiksniai gali sutapti, kai trapus modelis susiduria su besikeičiančia aplinka.
Degradacijos aptikimas reikalauja išilginio stebėjimo – šiandienos prognozių ir tikslumo palyginimo su istoriniais baziniais rodikliais. Tokios priemonės kaip „Evidently AI“, „WhyLabs“ ir „Arize“ specializuojasi tokio tipo dreifo aptikime. Stabilumas matuojamas proaktyviau, taikant kryžminio patvirtinimo dispersiją, abliacijos tyrimus ir priešpriešinius testus prieš diegimą. Abiem šiems metodams reikalingi skirtingi stebimumo paketai, nors brandžios MLOps platformos tvarko abu.
Kova su degradacija reiškia pakartotinį mokymąsi naudojant naujus duomenis, automatizuotų perkvalifikavimo srautų diegimą ir kartais funkcijų pertvarkymą, siekiant užfiksuoti naujus modelius. Stabilumo kūrimas apima reguliarizavimo metodus, tokius kaip iškritimas, L2 svorio mažinimas, duomenų papildymas ir ansambliniai metodai, kurie pašalina individualius modelio trūkumus. Daugelis organizacijų iš anksto investuoja į stabilumą, kad vėliau rečiau reikėtų įsikišti į degradaciją.
Kai rekomendacijų sistema pradeda siūlyti nesusijusius produktus arba sukčiavimo modelis nepastebi naujų atakų šablonų, pablogėjimas tiesiogiai veikia pajamas ir vartotojų pasitikėjimą. Stabilumo sutrikimai paprastai labiau matomi saugai svarbiose situacijose – autonominio automobilio suvokimo modelis, kuris lietuje ir saulėje elgiasi skirtingai, yra stabilumo problema, galinti turėti katastrofiškų pasekmių. Abu šie veiksniai galiausiai paveikia tą patį pelną, tačiau skirtingais gedimų režimais.
Modelis, kuris gerai atlieka bandymus, išliks tikslus amžinai.
Beveik kiekvienas gamybinis modelis po įdiegimo patiria tam tikrą degradacijos lygį. Realusis pasaulis nutolsta nuo mokymo duomenų, ir net nedideli pasiskirstymo pokyčiai per kelis mėnesius gali lemti didelius tikslumo nuostolius.
Stabilumas reiškia, kad modelis niekada nedaro klaidų.
Stabilumas nereiškia tobulumo – tai reiškia nuoseklų veikimą numatytame diapazone. Stabilus modelis vis tiek gali klysti 5 % laiko, tačiau tas klaidų dažnis išlieka nuspėjamas skirtingomis sąlygomis ir laikotarpiais.
Daugiau mokymo duomenų visada padeda išvengti blogėjimo.
Vien kiekybė neišsprendžia degradacijos problemos. Net jei nauji duomenys atspindi tas pačias paklaidas arba tą pačią siaurą realybės dalį, modelis vis tiek svyruos, kai pasikeis sąlygos. Duomenų kokybė ir naujumas yra daug svarbesni nei vien kiekis.
Degradacija pasitaiko tik su senesniais modeliais.
Net ir praėjusią savaitę įdiegti modeliai gali greitai suprastėti, jei pasikeičia aplinka. COVID-19 pandemijos metu daugelio rekomendacijų ir prognozavimo modelių našumas iš karto smarkiai sumažėjo, nes vartotojų elgsena pasikeitė per naktį.
Stabilūs modeliai visada yra mažiau tikslūs nei nestabilūs.
Stabilumas ir tikslumas nėra neatsiejami nuo įtampos. Tinkamai reguliuojant, taikant ansamblinius metodus ir patikimą mokymą, modelis gali būti ir labai tikslus, ir labai stabilus. Kompromisas atsiranda tik tada, kai stabilumo metodai taikomi pernelyg agresyviai.
Jei jūsų modelis veikia greitai kintančioje aplinkoje, kur perkvalifikavimo ciklai ir dreifo stebėjimas yra pagrindiniai veiklos poreikiai, rinkitės dėmesį į našumo blogėjimą. Diegdami saugos požiūriu svarbiose arba reguliuojamose srityse, kur nuoseklus ir nuspėjamas elgesys yra svarbesnis už maksimalų tikslumą, pirmenybę teikite našumo stabilumui. Iš tikrųjų geriausias gamybos sistemų inžinierius atlieka abu šiuos uždavinius – kuria stabilius modelius ir nuolat stebi, ar nėra kokių nors blogėjimo požymių.
„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.
„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.
„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.
„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.
A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.
