Ilgalaikis atlygio optimizavimas (Ilgalaikis atlygio optimizavimas) orientuotas į kaupiamųjų rezultatų maksimalizavimą ilgalaikėje perspektyvoje, o trumpalaikis tikslumo optimizavimas teikia pirmenybę neatidėliotinam individualių užduočių teisingumui. Šios dvi dirbtinio intelekto mokymo filosofijos formuoja, kaip agentai mokosi, apibendrina ir elgiasi dinamiškoje aplinkoje.
Dirbtinio intelekto mokymo metodas, kuris maksimaliai padidina kaupiamąjį atlygį per ilgą laiką, o ne per tiesioginį užduočių atlikimą.
Mokymo paradigma, kuri teikia pirmenybę neatidėliotinam individualių prognozių ar klasifikavimo užduočių teisingumui.
| Funkcija | Ilgalaikio atlygio optimizavimas | Trumpalaikis tikslumo optimizavimas |
|---|---|---|
| Pagrindinis tikslas | Maksimaliai padidinkite kaupiamąjį būsimą atlygį | Maksimaliai padidinkite tiesioginio prognozavimo tikslumą |
| Grįžtamojo ryšio signalas | Vėluojantys, menki atlygiai | Tiesioginės, tankios etiketės |
| Tipiniai algoritmai | Q-mokymasis, PPO, A3C, MCTS | Gradientinis nusileidimas, kryžminė entropija, atgalinis sklidimas |
| Mokymo duomenų poreikiai | Interaktyvios aplinkos arba simuliatoriai | Dideli paženklinti duomenų rinkiniai |
| Kredito priskyrimas | Iššūkiai tolimais horizontais | Tiesioginis priskyrimas kiekvienam pavyzdžiui |
| Skaičiavimo kaina | Aukštas dėl trajektorijos modeliavimo | Vidutinis, keičiasi atsižvelgiant į duomenų rinkinio dydį |
| Žvalgymo reikalavimas | Svarbu atrasti strategijas | Minimalus, atitinka pažymėtus pavyzdžius |
| Atsparumas pokyčiams | Prisitaiko per nuolatinį atlygio grįžtamąjį ryšį | Sumažėja pasiskirstymo poslinkio metu |
| Dažnos paraiškos | Žaidimai, robotika, rekomendacijų sistemos | Klasifikavimas, vertimas, vaizdo atpažinimas |
Ilgalaikio atlygio optimizavimo atveju kiekvienas veiksmas traktuojamas kaip didesnės sekos dalis, kur šiandienos pasirinkimas daro įtaką rezultatams po minučių, valandų ar net dienų. Agentas išmoksta vertės funkciją, kuri įvertina, kokia gera situacija būsimam pelnui. Trumpalaikio tikslumo optimizavimo atveju, priešingai, kiekviena įvesties ir išvesties pora traktuojama kaip nepriklausomas įvykis. Modelis tiesiog išmoksta kuo greičiau ir tiksliau susieti įvestis su teisingomis išvestimis, nesijaudindamas dėl tolesnių pasekmių.
Ilgalaikėse sistemose atlygis dažnai gaunamas retai ir su dideliu vėlavimu, todėl egzistuoja tokie algoritmai kaip mokymasis pagal laiko skirtumus, siekiant panaikinti atotrūkį tarp veiksmo ir rezultato. Trumpalaikės sistemos naudojasi tankiu, tiesioginiu grįžtamuoju ryšiu per nuostolių funkcijas, kurios kiekviename pavyzdyje lygina prognozes su faktine tiesa. Dėl to trumpalaikis mokymas yra stabilesnis, bet kartu ir trumparegiškesnis, nes modelis niekada neišmoksta palyginti šiandienos tikslumo su rytojaus kaina.
Būdingas ilgalaikio optimizavimo bruožas yra poreikis tyrinėti nepažįstamus veiksmus, siekiant atrasti geresnes strategijas, net kai žinomas veiksmas duoda deramą atlygį. Šiam tikslui tinka tokios technikos kaip „epsilono godumo“ politika, entropijos premijos ir viršutinės pasitikėjimo ribos. Trumpalaikiai tikslumo modeliai retai tyrinėja, nes jų mokymo signalas gaunamas iš paženklintų pavyzdžių, o ne iš aplinkos atlygio, todėl jie išnaudoja bet kokius duomenų rinkinyje jau esančius modelius.
Ilgalaikėms atlygio sistemoms paprastai reikalinga interaktyvi aplinka arba sudėtingi simuliatoriai, kuriuos sukurti ir paleisti gali būti brangu. Pavyzdžiui, „AlphaGo“ sukūrė milijonus savarankiškų žaidimų, kol pasiekė antžmogišką našumą. Trumpalaikės tikslumo sistemos remiasi statiniais duomenų rinkiniais, kuriuos galima pakartotinai naudoti daugelyje mokymo ciklų, todėl jas pigiau iteruoti, bet kartu ir apriboti iki bet kokių žinių, kurias tie duomenų rinkiniai koduoja.
Ilgalaikis optimizavimas išsiskiria nuoseklaus sprendimų priėmimo problemose, tokiose kaip autonominis vairavimas, dinaminis kainodaros nustatymas ir pokalbių agentai, kurie turi planuoti daugiapakopius dialogus. Trumpalaikis tikslumas dominuoja suvokimo užduotyse, tokiose kaip medicininis vaizdavimas, šlamšto aptikimas ir mašininis vertimas, kur kiekvienas įvesties elementas yra atskiras. Šie du metodai nėra vienas kito nepaneigiantys, ir šiuolaikinės sistemos dažnai juos derina, pavyzdžiui, iš anksto apmokydamos modelį tikslumui, o vėliau jį tiksliai derindamos sustiprinto mokymosi iš žmonių atsiliepimų pagalba.
Kadangi ilgalaikiai agentai nuolat gauna grįžtamąjį ryšį iš savo aplinkos, jie gali prisitaikyti prie kintančių sąlygų taip, kaip negali statiniai tikslumo modeliai. Rekomendacijų sistema, apmokyta naudojant ilgalaikius atlygio signalus, prisitaikys, kai pasikeis vartotojo nuostatos, o klasifikatorius, apmokytas trumpalaikiam tikslumui, gali tyliai sugesti, kai pasikeis įvesties pasiskirstymas. Šis prisitaikymas kainuoja saugumo problemas, nes tyrinėjimas mokymo metu gali sukelti žalingus veiksmus.
Pastiprinimo mokymasis visada pranoksta prižiūrimą mokymąsi, nes jis optimizuoja ilgalaikius tikslus.
Ilgalaikis atlygio optimizavimas pranoksta trumpalaikį tikslumą tik tada, kai užduočiai atlikti iš tiesų reikia nuoseklių sprendimų. Nepriklausomos klasifikacijos ar regresijos problemoms spręsti prižiūrimi metodai išlieka greitesni, pigesni ir dažnai tikslesni.
Trumpalaikiai tikslumo modeliai negali nieko sužinoti apie būsimas pasekmes.
Dideli kalbos modeliai, apmokyti naudojant kito žetono prognozavimą, gali netiesiogiai užfiksuoti ilgalaikes priklausomybes, net jei nuostolių funkcija skaičiuojama po vieną žetoną. Skirtumas slypi mokymo tiksle, o ne būtinai modelio reprezentavimo pajėgume.
Ilgalaikiam atlygio optimizavimui nereikia jokių paženklintų duomenų.
Daugelyje praktinių sistemų derinami abu metodai, naudojant prižiūrimą išankstinį mokymą, kad būtų sukurta politika prieš taikant sustiprintąjį mokymąsi. Grynas atlygiu pagrįstas mokymasis nuo nulio yra retas, išskyrus žaidimus ir simuliacines sritis.
Didesnis bandymų rinkinio tikslumas reiškia, kad modelis geriau veiks diegimo metu.
Testo tikslumas matuoja našumą statiniame skirstinyje. Realioje aplinkoje, kurioje įvesties duomenys laikui bėgant kinta, modelis, optimizuotas ilgalaikiam atlygiui per nuolatinį grįžtamąjį ryšį, dažnai pranoksta statinį tikslumo modelį, nepaisant žemesnių etaloninių balų.
Atlygio įsilaužimas yra problema tik ilgalaikiam optimizavimui.
Bet kuri sistema su tarpinio serverio tikslu gali būti imituojama. Trumpalaikiai tikslumo modeliai taip pat gali išnaudoti duomenų rinkinių artefaktus arba etikečių triukšmą, kad padidintų metrikas nepagerindami realaus naudingumo.
Rinkitės ilgalaikį atlygio optimizavimą, kai jūsų problema susijusi su nuosekliais sprendimais, kur ankstyvieji veiksmai formuoja vėlesnius rezultatus, pavyzdžiui, robotikos, žaidimų ar adaptyvių sistemų srityse. Rinkitės trumpalaikį tikslumo optimizavimą, kai jums reikia patikimų ir greitų prognozių, pagrįstų nepriklausomais pavyzdžiais, tokiais kaip klasifikavimas, aptikimas ar vertimas. Praktiškai stipriausios dirbtinio intelekto sistemos dažnai derina abu šiuos metodus, naudodamos į tikslumą orientuotą išankstinį mokymą, po kurio seka atlygiu pagrįstas tikslinimas.
„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.
„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.
„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.
„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.
A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.
