Mokymasis bandymų ir klaidų metodu, dažnai vadinamas pastiprinimo mokymusi, treniruoja dirbtinį intelektą naudodamas atlygį ir nuobaudas, gaunamas sąveikaujant su aplinka. Mokymasis pagal žymėtus duomenų rinkinius, vadinamas prižiūrimu mokymusi, moko modelius naudodamas iš anksto pažymėtus pavyzdžius. Abu metodai formuoja, kaip mašinos įgyja įgūdžius, tačiau jie iš esmės skiriasi duomenų reikalavimais ir grįžtamojo ryšio mechanizmais.
Mokymo metodas, kai dirbtinio intelekto agentai išmoksta optimalaus elgesio per aplinkos grįžtamąjį ryšį, gaudami atlygį už gerus veiksmus ir nuobaudas už blogus.
Mokymo metodas, kai dirbtinio intelekto modeliai mokosi šablonų iš duomenų rinkinių, kuriuose yra įvesties ir išvesties poros, kurias žmonės rankiniu būdu pažymėjo teisingais atsakymais.
| Funkcija | Bandymų ir klaidų mokymasis | Pažymėtų duomenų rinkinių mokymasis |
|---|---|---|
| Mokymosi paradigma | Sustiprinimo mokymasis (RL) | Prižiūrimas mokymasis (SL) |
| Duomenų reikalavimai | Sąveikos aplinka arba simuliatorius | Iš anksto pažymėtos įvesties-išvesties poros |
| Grįžtamojo ryšio signalas | Skaliarinis atlygis arba nuobaudos už veiksmus | Kiekvieno pavyzdžio pagrindinės tiesos etiketės |
| Žmogaus anotacijos pastangos | Minimalus arba nulis treniruočių metu | Iš anksto reikalingas išsamus ženklinimas |
| Treniruočių greitis | Dažnai lėtas dėl tyrinėjimo poreikių | Paprastai greičiau su tiesioginiais gradiento signalais |
| Imties efektyvumas | Paprastai žemas, reikia daug sąveikų | Aukštesnis, mokosi tiesiogiai iš pavyzdžių |
| Geriausi naudojimo atvejai | Nuoseklūs sprendimai, žaidimai, robotika | Klasifikacija, regresija, prognozavimas |
| Žvalgymo galimybės | Integruota, atranda naujas strategijas | Apribota mokymo duomenų modeliais |
| Pagrindiniai algoritmai | Q-mokymasis, PPO, DQN, A3C | Tiesinė regresija, CNN, transformatoriai, SVM |
Mokymasis bandymų ir klaidų metodu veikia taip: agentas gali sąveikauti su aplinka ir stebėti savo veiksmų pasekmes. Kai agentas atlieka ką nors naudingo, jis gauna skaitinį atlygį; kai padaro klaidą, jis gauna baudą arba visai negauna. Per tūkstančius ar milijonus iteracijų agentas palaipsniui kuria politiką, kuri maksimaliai padidina kaupiamąjį atlygį. Mokymasis su žymėtais duomenų rinkiniais vyksta visiškai kitu keliu. Čia žmonės parengia duomenų rinkinį, kuriame kiekvienas įvesties duomenys suporuojami su teisinga išvesties informacija, o modelis pakoreguoja savo vidinius parametrus, kad jie kuo tiksliau atitiktų šiuos atsakymus.
Vienas didžiausių praktinių skirtumų yra mokymo duomenų šaltinių nustatymas. Prižiūrimas mokymasis reikalauja kruopščiai paženklintų duomenų rinkinių, o jų kūrimas gali būti milžiniškas darbas. Pavyzdžiui, medicininio vaizdavimo projektams dažnai reikia, kad patyrę radiologai anotuotų tūkstančius skenavimų, o tai kainuoja šimtus tūkstančių dolerių. Pastiprinamasis mokymasis apeina šią kliūtį, sąveikos būdu generuodamas savo mokymo signalą, nors šią problemą iškeičia į kitą: poreikį turėti realią aplinką ar simuliatorių, kuriame agentas galėtų saugiai eksperimentuoti.
Kai tikslas apima nuoseklų sprendimų priėmimą, kur svarbi ilgalaikė strategija, mokymasis bandymų ir klaidų metodu sužiba. Tokius žaidimus kaip šachmatai, „Go“ ir „StarCraft“ užkariavo realaus laiko agentai, atradę strategijas, kurių joks žmogus niekada nebuvo sugalvojęs. Prižiūrimas mokymasis dominuoja, kai turite aiškių teisingo elgesio pavyzdžių ir jums reikia patikimų prognozių apie naujus duomenis. Tokios užduotys kaip nesąžiningų operacijų aptikimas, veidų atpažinimas nuotraukose ar vertimas tarp kalbų labai priklauso nuo paženklintų mokymo rinkinių, nes įvesties ir išvesties sąsaja yra aiškiai apibrėžta.
Pastiprinamasis mokymasis susiduria su imties neefektyvumu, kartais prireikia milijonų epizodų, kad būtų galima išmokti užduotis, kurias žmogus galėtų įveikti per kelias minutes. Jis taip pat susiduria su tyrinėjimo ir išnaudojimo dilema, kai agentas turi subalansuoti naujų veiksmų bandymą ir laikytis žinomų gerų veiksmų. Tuo tarpu prižiūrimą mokymąsi riboja jo mokymo etikečių kokybė ir įvairovė. Modeliai gali paveldėti žmonių šališkumą, nepavykti gauti įvesties duomenų, kurie nėra platinami, ir pasiekti stabilumo lygį, kai baigiasi paženklinti duomenys. Abu metodai turi bendrų iššūkių, susijusių su interpretuojamumu ir saugumu, nors jie pasireiškia skirtingai.
Pastaraisiais metais riba tarp šių paradigmų gerokai išbluko. Tokios technikos kaip RLHF (pastiprinamasis mokymasis iš žmogaus grįžtamojo ryšio) sujungia abu pasaulius, naudodamos žmogaus pageidavimus kaip atlygio signalus, kad tiksliai suderintų modelius, iš pradžių apmokytus su paženklintais duomenimis. Savarankiškai prižiūrimas mokymasis taip pat atsirado kaip kompromisas, kai modeliai sukuria savo etiketes iš nepažymėtų duomenų, o tada tiksliai derina mažesniuose kuruojamuose rinkiniuose. Šie hibridiniai metodai dažnai pranoksta grynus metodus, o tai rodo, kad dirbtinio intelekto mokymo ateitis slypi abiejų strategijų stipriųjų pusių derinime.
Pastiprinimo mokymuisi visada reikia fizinio roboto.
Dauguma šiuolaikinių realiojo laiko tyrimų atliekama tik programinės įrangos simuliatoriuose. Aplinkos apima nuo vaizdo žaidimų ir fizikos variklių iki specialiai sukurtų virtualių pasaulių. Fiziniai robotai naudojami tik tada, kai galutinis pritaikymas reikalauja realaus pasaulio diegimo, ir net tada mokymai paprastai prasideda modeliavime prieš perkėlimą į aparatinę įrangą.
Prižiūrimas mokymasis gali išspręsti bet kokią problemą, jei tik į ją įmesite pakankamai duomenų.
Daugiau duomenų padeda tik iki tam tikro lygio. Jei etiketės yra triukšmingos, šališkos arba neapima svarbių kraštutinių atvejų, modelis išmoks šiuos trūkumus. Anotacijų kokybė ir įvairovė yra tokia pat svarbi kaip ir kiekybė, o kai kurių problemų tiesiog negalima apibrėžti kaip prižiūrimų prognozavimo užduočių.
Mokymasis bandymų ir klaidų metodu yra visiškai be priežiūros.
Pastiprinimo mokymasis iš tikrųjų yra atskira kategorija, atskira nuo prižiūrimo ir neprižiūrimo mokymosi. Nors jam nereikia žymėtų įvesties duomenų, jis remiasi atlygio signalais, kuriuos turi sukurti žmonės. Geros atlygio funkcijos sukūrimas pats savaime yra sudėtinga inžinerinė problema.
Pažymėtų duomenų rinkinių mokymasis yra pasenęs dėl savarankiškai prižiūrimų metodų.
Prižiūrimas mokymasis išlieka gamybinių dirbtinio intelekto sistemų pagrindiniu įrankiu. Savarankiškai prižiūrimas išankstinis mokymas dažnai sumažina reikalingų paženklintų duomenų kiekį, tačiau daugumai diegiamų programų vis dar būtina tiksliai derinti paženklintus pavyzdžius. Šie du metodai vienas kitą papildo, o ne pakeičia.
Pastiprinimo mokymosi agentai visada randa optimalų sprendimą, turėdami pakankamai laiko.
RL agentai gali įstrigti neoptimaliose politikose, ypač kai atlygio signalai yra reti arba prastai sukurti. Tyrimas iš esmės yra sudėtingas, ir agentai niekada gali neatrasti geresnių strategijų, jei atlygiai yra klaidinantys arba jei būsenos erdvė yra per didelė, kad būtų galima atlikti kruopščią paiešką.
Rinkitės bandymų ir klaidų metodą, kai jūsų problema susijusi su nuosekliais sprendimais, dinamiška aplinka arba situacijomis, kai sunku iš anksto apibrėžti teisingą elgesį, pavyzdžiui, robotų valdyme ar strateginiuose žaidimuose. Rinkitės mokymąsi pagal žymėtus duomenų rinkinius, kai turite prieigą prie kokybiškų anotuotų duomenų ir jums reikia patikimų prognozių aiškiai apibrėžtoms užduotims, tokioms kaip klasifikavimas, regresija ar šablonų atpažinimas. Daugeliui realaus pasaulio sistemų naudinga derinti abu metodus, o ne rinktis tik vieną.
„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.
„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.
„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.
„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.
A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.
