mašininis mokymasisdirbtinis intelektasgilusis mokymasisalgoritmaidirbtinio intelekto mokymai

Sustiprinimo mokymasis ir prižiūrimas mokymasis

Pastiprinamasis mokymasis ir prižiūrimas mokymasis yra du iš esmės skirtingi mašininio mokymosi modelių mokymo metodai. Prižiūrimas mokymasis remiasi paženklintais duomenų rinkiniais, kad modelius mokytų teisingų atsakymų, o sustiprintasis mokymasis moko agentus bandymų ir klaidų būdu sąveikaujant su aplinka, vadovaujantis atlygiais ir nuobaudomis.

Akcentai

Pastiprinimo mokymasis mokosi iš aplinkos sąveikos, o prižiūrimas mokymasis – iš paženklintų pavyzdžių.
Prižiūrimas mokymasis suteikia tiesioginį grįžtamąjį ryšį; sustiprinimo mokymasis dažnai veikia su uždelstu, menku atlygiu.
Pastiprinimo mokymasis pasižymi nuosekliais sprendimais; prižiūrimas mokymasis dominuoja klasifikavimo ir prognozavimo užduotyse
Šie du metodai vis dažniau derinami hibridinėse sistemose, skirtose sudėtingoms realaus pasaulio problemoms spręsti.

Kas yra Sustiprinimo mokymasis?

Mašininio mokymosi paradigma, kai agentas išmoksta optimalių veiksmų per aplinkos sąveiką, gaudamas atlygį arba nuobaudas pagal savo sprendimus.

Pastiprinamasis mokymasis moko agentus per pakartotinę bandymų ir klaidų sąveiką su aplinka, o ne iš statinių duomenų rinkinių.
Pagrindinis mechanizmas remiasi atlygio signalu, kuris nurodo agentui, ar jo veiksmai buvo geri, ar blogi, nenurodant teisingo veiksmo.
Q-mokymasis, kurį 1989 m. sukūrė Christopheris Watkinsas, išlieka vienu iš pamatinių algoritmų šioje srityje.
Gilusis pastiprinimo mokymasis garsiai pasiekė antžmogiškų rezultatų „Atari“ žaidimuose ir nugalėjo pasaulio čempionus Go ir šachmatuose.
Žymios realaus pasaulio taikymo sritys apima robotų valdymą, autonomines vairavimo sistemas ir duomenų centro aušinimo optimizavimą „Google“.

Kas yra Prižiūrimas mokymasis?

Mašininio mokymosi metodas, kai modeliai mokosi šablonų iš paženklintų mokymo duomenų, susiedami įvestis su žinomais teisingais rezultatais.

Prižiūrimam mokymuisi reikalingi paženklinti duomenų rinkiniai, kuriuose kiekvienas įvesties pavyzdys yra suporuotas su teisingu atsakymu arba tiksline reikšme.
Įprasti algoritmai apima tiesinę regresiją, sprendimų medžius, atraminių vektorių mašinas ir giliuosius neuroninius tinklus.
Šis metodas šiandien dominuoja praktinėse dirbtinio intelekto programose, jame naudojamasi daugeliu vaizdų atpažinimo, šlamšto aptikimo ir medicininės diagnostikos sistemų.
Mokymo duomenų kokybė tiesiogiai lemia modelio našumą, todėl duomenų žymėjimas yra labai svarbus ir dažnai brangus žingsnis.
Atgalinio mokymosi metodas, išpopuliarėjęs devintajame dešimtmetyje, leido įvykti šiuolaikinei gilaus mokymosi revoliucijai, daugiausia paremtai prižiūrimomis technikomis.

Palyginimo lentelė

Funkcija	Sustiprinimo mokymasis	Prižiūrimas mokymasis
Mokymosi metodas	Bandymų ir klaidų metodas per aplinkos sąveiką	Mokymasis iš paženklintų įvesties-išvesties pavyzdžių
Duomenų reikalavimai	Nereikia jokių paženklintų duomenų; mokosi iš atlygių	Reikalingas didelis kiekis paženklintų mokymo duomenų
Atsiliepimo tipas	Uždelsti atlygio signalai (reti arba nuolatiniai)	Iškartiniai teisingi atsakymai į kiekvieną pavyzdį
Pagrindiniai naudojimo atvejai	Žaidimai, robotika, autonominės sistemos, nuoseklūs sprendimai	Vaizdų klasifikavimas, nuotaikų analizė, sukčiavimo aptikimas, prognozavimas
Pagrindiniai algoritmai	Q-learning, SARSA, DQN, PPO, A3C	Tiesinė regresija, SVM, atsitiktiniai miškai, CNN, transformatoriai
Mokymo aplinka	Interaktyvi aplinka arba simuliatorius	Statinis duomenų rinkinys su iš anksto nustatytomis etiketėmis
Tyrinėjimas	Agentas turi ištirti, kad atrastų geras strategijas	Nereikia tyrinėti; seka duomenų modelius
Imties efektyvumas	Dažnai reikia milijonų sąveikų	Paprastai mėginių ėmimas efektyvesnis naudojant kokybės etiketes
Aiškinamasis aspektas	Atlygio funkcijos ir politika gali būti sudėtingos	Dažnai lengviau interpretuojamas, ypač naudojant paprastesnius modelius

Išsamus palyginimas

Pagrindinė mokymosi filosofija

Esminis skirtumas slypi tame, kaip kiekvienas metodas įgyja žinias. Prižiūrimas mokymasis veikia kaip studentas, besimokantis su atsakymų raktu, mokantis susieti įvestis su žinomais teisingais rezultatais. Pastiprinamasis mokymasis primena mokymąsi per patirtį, kai agentas atranda, kurie veiksmai veda prie palankių rezultatų, juos iš tikrųjų atlikdamas ir stebėdamas pasekmes. Ši filosofinė takoskyra formuoja viską – nuo duomenų reikalavimų iki algoritmų kūrimo.

Duomenys ir atsiliepimai

Prižiūrimas mokymasis reikalauja kruopščiai kuruojamų paženklintų duomenų rinkinių, kurių sudarymas gali būti brangus ir daug laiko reikalaujantis, tačiau jie suteikia aiškų ir tiesioginį grįžtamąjį ryšį kiekvienam mokymo pavyzdžiui. Pastiprinamasis mokymasis visiškai apeina ženklinimo problemą, tačiau iškelia savo iššūkį: atlygio signalas dažnai būna retas ir uždelstas, todėl sunku priskirti kreditus. Agentas gali atlikti šimtus veiksmų, kol gaus prasmingą grįžtamąjį ryšį apie tai, ar jo bendra strategija buvo sėkminga.

Praktinis pritaikymas

Prižiūrimas mokymasis dominuoja pramonės šakose, kuriose egzistuoja istoriniai duomenys su žinomais rezultatais, ir puikiai tinka klasifikavimo, regresijos ir šablonų atpažinimo užduotims, tokioms kaip ligų diagnozavimas pagal medicininius vaizdus ar nesąžiningų sandorių aptikimas. Pastiprinamasis mokymasis išsiskiria nuoseklaus sprendimų priėmimo problemose, kai optimali strategija turi būti atrasta sąveikaujant, pavyzdžiui, mokant robotus vaikščioti, optimizuojant tiekimo grandines ar įvaldant sudėtingus žaidimus, tokius kaip „StarCraft II“.

Treniruočių iššūkiai

Abu metodai susiduria su skirtingais kliūtimis. Prižiūrimas mokymasis susiduria su pasiskirstymo poslinkiu, kai modeliai prastai veikia su duomenimis, kurie skiriasi nuo mokymo pavyzdžių, ir gali įtvirtinti paženklintuose duomenyse esančius šališkumus. Pastiprinamasis mokymasis susiduria su tyrinėjimo ir išnaudojimo kompromisu, imties neefektyvumu ir sunkumais kuriant atlygio funkcijas, kurios užfiksuotų norimą elgesį be nenumatytų pasekmių. Mokymo stabilumas išlieka aktyvia abiejų paradigmų tyrimų sritimi.

Našumas ir mastelio keitimas

Prižiūrimas mokymasis subrendo į labai keičiamo mastelio discipliną, o iš anksto apmokyti modeliai, tokie kaip BERT ir GPT, demonstruoja puikius perkėlimo mokymosi pajėgumus. Pastiprinamajam mokymuisi sudėtingose aplinkose reikia didelių skaičiavimo išteklių, nors tokie proveržiai kaip „AlphaGo“ ir „AlphaZero“ parodė, kad tam tikrose srityse jis gali pasiekti viršžmogiškų rezultatų. Šie du metodai vis dažniau derinami hibridinėse sistemose, kurios išnaudoja kiekvieno iš jų stipriąsias puses.

Privalumai ir trūkumai

Sustiprinimo mokymasis

Privalumai

+ Mokosi be paženklintų duomenų
+ Gerai sprendžia nuoseklius sprendimus
+ Gali atrasti naujų strategijų
+ Prisitaiko prie dinamiškos aplinkos

Pasirinkta

− Imtis neefektyvi
− Atlygio dizainas yra sudėtingas
− Treniruotės gali būti nestabilios
− Skaičiavimo požiūriu brangu

Prižiūrimas mokymasis

Privalumai

+ Aiškus treniruočių signalas
+ Subrendę įrankiai ir metodai
+ Didelis prognozavimo tikslumas
+ Lengviau įvertinti

Pasirinkta

− Reikalingi pažymėti duomenys
− Prastai atlieka nuoseklias užduotis
− Apribota žinomais modeliais
− Šališkumas iš mokymo duomenų

Dažni klaidingi įsitikinimai

Mitas

Pastiprinimo mokymuisi visada reikia daugiau duomenų nei prižiūrimam mokymuisi.

Realybė

Nors sustiprinimo mokymasis dažnai reikalauja daug sąveikų, palyginimas nėra paprastas. Vienas pažymėtas vaizdas gali mokyti prižiūrimo modelio, tačiau sustiprinimo mokymosi agentai kartais gali efektyviai mokytis iš santykinai nedaugelio epizodų gerai suprojektuotoje aplinkoje. Tikroji problema yra ta, kad sustiprinimo mokymosi sąveikos yra nuoseklios ir jas sunkiau lygiagretinti nei statinių duomenų rinkinių apdorojimą.

Mitas

Prižiūrimas mokymasis yra pasenęs dėl pastaruoju metu sėkmingo sustiprinto mokymosi.

Realybė

Prižiūrimas mokymasis išlieka pagrindiniu praktinio dirbtinio intelekto diegimo įrankiu. Dauguma gamybos sistemų, pradedant rekomendacijų sistemomis ir baigiant medicinine diagnostika, remiasi prižiūrimais metodais. Pastiprinamojo mokymosi pagrindiniai pasiekimai žaidimuose nėra pritaikomi daugumoje verslo programų, kuriose jau yra paženklinti duomenys ir nereikia nuoseklaus sprendimų priėmimo.

Mitas

Pastiprinimo mokymuisi visiškai nereikia jokių duomenų.

Realybė

Nors sustiprinimo mokymuisi nereikia paženklintų duomenų rinkinių, jam vis tiek reikia sąveikos aplinkos, kurioje dažnai yra numanomų duomenų arba modeliavimo. Agentas generuoja savo mokymo duomenis tyrinėdamas, tačiau šie duomenys gaunami skaičiavimo laiko ir galimų realaus pasaulio pasekmių diegtose sistemose kaina.

Mitas

Prižiūrimo mokymosi modeliai visada geriau apibendrina nei sustiprinto mokymosi agentai.

Realybė

Apibendrinimas priklauso nuo problemos ir įgyvendinimo. Įvairiuose scenarijuose apmokytas sustiprinamojo mokymosi agentas gali sukurti nepaprastai lanksčias politikas, o prižiūrimi modeliai dažnai nepavyksta, kai susiduria su paskirstymais, kurie skiriasi nuo jų mokymo duomenų. Abu metodai skirtingais būdais susiduria su sunkumais dirbant su paskirstymo išoriniais pavyzdžiais.

Mitas

Bet kuriai problemai spręsti turite pasirinkti prižiūrimą arba sustiprintą mokymąsi.

Realybė

Šiuolaikinės dirbtinio intelekto sistemos dažnai derina abu metodus. Robotas gali naudoti prižiūrimą mokymąsi suvokimui (objektų atpažinimui) ir sustiprintą mokymąsi valdymui (judesių sprendimui). Imitacijos mokymasis, elgesio klonavimo forma, naudoja prižiūrimą mokymąsi sustiprintam mokymuisi paleisti, taip žymiai pagerindamas imties efektyvumą.

Dažnai užduodami klausimai

Kuo skiriasi sustiprintas mokymasis ir prižiūrimas mokymasis?

Pagrindinis skirtumas slypi tame, kaip vyksta mokymasis. Prižiūrimas mokymasis mokosi iš fiksuoto įvesties ir išvesties porų duomenų rinkinio, kuriame pateikiami teisingi atsakymai. Pastiprinamasis mokymasis mokosi sąveikaudamas su aplinka ir gaudamas atlygį arba nuobaudas pagal atliktus veiksmus, tiesiogiai nepasakydamas teisingo atsakymo. Prižiūrimą mokymąsi įsivaizduokite kaip mokymąsi iš pavyzdžių, o sustiprinamąjį mokymąsi – kaip mokymąsi iš patirties.

Kuriam metodui apmokyti reikia daugiau duomenų?

Tai priklauso nuo problemos. Prižiūrimam mokymuisi reikia paženklintų pavyzdžių, kuriuos sukurti gali būti brangu, bet jie apdorojami efektyviai. Pastiprinamajam mokymuisi nereikia iš anksto paženklintų duomenų, tačiau dažnai reikia milijonų aplinkos sąveikų, kad būtų galima išmokti sudėtingas užduotis. Problemoms, kuriose gausu paženklintų duomenų, prižiūrimas mokymasis paprastai yra efektyvesnis imties atžvilgiu. Nuosekliųjų sprendimų problemoms spręsti sustiprintas mokymasis gali būti vienintelė tinkama galimybė, nepaisant imties poreikio.

Ar pastiprinimo mokymasis gali veikti be atlygio funkcijos?

Tradiciniam pastiprinimo mokymuisi iš esmės reikalingas atlygio signalas, kad būtų galima apibrėžti, kas yra geras elgesys. Tačiau tokie variantai kaip imitacinis mokymasis mokosi iš ekspertų demonstracijų be aiškaus atlygio, o atvirkštinis pastiprinimo mokymasis atlygio funkcijas išveda iš stebimo elgesio. Grynas pastiprinimo mokymasis be jokio grįžtamojo ryšio signalo iš tikrųjų neįmanomas, nes atlygio funkcija apibrėžia mokymosi tikslą.

Ar prižiūrimas mokymasis yra sustiprinimo mokymosi pogrupis?

Ne, tai yra skirtingos mašininio mokymosi paradigmos, nors jos turi bendrus matematinius pagrindus. Kai kurie tyrėjai prižiūrimą mokymąsi laiko ypatingu atveju, kai kiekvienas pavyzdys suteikia tiesioginį atlygį, lygų nuostoliui. Tačiau toks požiūris nėra visuotinai priimtas, ir šios dvi sritys vystėsi daugiausia nepriklausomai, naudojant skirtingus algoritmus, taikymus ir teorines sistemas.

Kuris geriau tinka vaizdų atpažinimo užduotims?

Vaizdų atpažinimui daugiausia pirmenybė teikiama prižiūrimam mokymuisi. Konvoliuciniai neuroniniai tinklai ir regėjimo transformatoriai, apmokyti naudojant paženklintus vaizdų duomenų rinkinius, pasiekia pažangiausią našumą klasifikavimo, aptikimo ir segmentavimo užduotyse. Sustiprintas mokymasis buvo taikomas su vaizdais susijusioms užduotims, tokioms kaip vaizdinė navigacija ir vaizdų subtitravimas, tačiau tai yra nišinės taikymo sritys, palyginti su prižiūrimų metodų dominavimu kompiuterinėje regoje.

Kaip gilusis mokymasis susijęs su abiem požiūriais?

Gilusis mokymasis abiejose paradigmose atlieka funkcijų aproksimatoriaus vaidmenį. Prižiūrimo mokymosi metu gilieji neuroniniai tinklai išmoksta susieti įvestis su išvestimis per atgalinį sklidimą. Giliojo sustiprinimo mokymosi metu neuroniniai tinklai aproksimuoja reikšmių funkcijas arba politikas, leisdami agentams apdoroti daugiamačius įvestis, pvz., neapdorotus vaizdus. Tokios architektūros kaip CNN ir transformatoriai pasitaiko abiejuose kontekstuose, nors mokymo procedūros labai skiriasi.

Kokie yra žinomi kiekvieno iš jų pritaikymai realiame pasaulyje?

Prižiūrimas mokymasis yra daugelio naudojamų dirbtinio intelekto sistemų pagrindas: veido atpažinimas, medicininė diagnostika iš vaizdų, el. pašto šlamšto filtrai, kreditų vertinimas ir balso asistentai. Pastiprinamasis mokymasis pasiekė didelės sėkmės žaidimų srityje („AlphaGo“, „OpenAI Five“), robotikoje („Boston Dynamics“ lokomotyvas), autonominėse transporto priemonėse (sprendimų priėmimo komponentai) ir pramonės optimizavime („Google“ duomenų centro aušinimas, kuris padėjo sutaupyti 40 % energijos).

Ar šiuos du metodus galima suderinti?

Be abejo, ir kombinuoti metodai tampa vis dažnesni. Imitacinis mokymasis naudoja prižiūrimą mokymąsi ekspertų demonstracijose, kad būtų galima pradėti sustiprinti mokymąsi. Aktoriaus ir kritiko metodai naudoja prižiūrimą mokymąsi kritikų tinklui lavinti, o sustiprinimo mokymasis lavina aktorių. Hibridinės sistemos gali naudoti prižiūrimą mokymąsi suvokimo moduliams ir sustiprinimo mokymąsi sprendimų priėmimui, taip sukurdamos pajėgesnes bendras sistemas nei taikant kiekvieną iš šių metodų atskirai.

Nuosprendis

Rinkitės prižiūrimą mokymąsi, kai turite kokybiškai paženklintus duomenis ir jums reikia daryti prognozes ar klasifikuoti tiksliai apibrėžtas problemas, tokias kaip vaizdų atpažinimas ar sukčiavimo aptikimas. Rinkitės sustiprintąjį mokymąsi, kai susiduriate su nuosekliu sprendimų priėmimu dinamiškoje aplinkoje, kur optimali strategija turi būti atrasta sąveikaujant, pavyzdžiui, robotikos, žaidimų ar realaus laiko optimizavimo užduočių metu.

Susiję palyginimai

„DeepSeek V4“ ir „GPT-4“ klasės modeliai

„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.

„Google“ paieška ir žinių grafiko paieška

„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.

„Google“ paieškos algoritmas ir supaprastinti klasės modeliai

„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.

„Vienas su vienu“ atitikimas aptikimo ir daugelio su vienu atitikimo metodų srityse

„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.

A/B testavimas modelių aptarnavime ir vieno modelio diegime

A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.