Eredu gabeko eta ereduetan oinarritutako indartze-ikaskuntzak bi ikuspegi desberdin dira IA agenteei proba eta akatsen bidez irakasteko. Eredu gabeko metodoek zuzenean ikasten dute esperientziatik, ingurunea ulertu gabe, eta ereduetan oinarritutako metodoek, berriz, munduak nola funtzionatzen duen barne-irudikapen bat eraikitzen dute aurrera egiteko.
RL ikuspegi bat non agenteek ekintza optimoak zuzenean ikasten dituzten ingurumen-elkarrekintzetatik, barne-mundu eredu bat eraiki gabe.
RL ikuspegi bat non agenteek beren ingurunearen dinamikaren barne-eredu bat eraikitzen duten emaitzak simulatzeko eta etorkizuneko ekintzak planifikatzeko.
| Ezaugarria | Eredurik gabeko Errefortzu Ikaskuntza | Ereduetan Oinarritutako Errefortzu Ikaskuntza |
|---|---|---|
| Laginaren eraginkortasuna | Baxua - milioika interakzio behar ditu | Altua - interakzio gutxiagotatik ikasten du |
| Konputazio-kostua | Prestakuntzan zehar txikiagoa, plangintza-gasturik gabe | Handiagoa ereduen ikaskuntza eta plangintza urratsengatik |
| Memoria-eskakizunak | Politika edo balio funtzioa soilik gordetzen du | Dendaren politika eta ikasitako ingurune eredua |
| Plangintza gaitasuna | Plangintza espliziturik ez, politika erreaktiboak | Hainbat urrats simulatu eta aurrerago planifikatu ditzake |
| Inplementazio Konplexutasuna | Oro har, errazagoa da ezartzea | Konplexuagoa ereduen ikaskuntza osagaiagatik |
| Zeregin berrietarako orokortzea | Mugatua - zeregin berri bakoitzerako berriro ikasi behar da | Hobeto - eredua zereginen artean transferitu daiteke |
| Modeloen erroreen sendotasuna | Ereduaren zehaztasun ezak ez du eraginik | Eredu-errore konposatuen aurrean zaurgarria |
| Algoritmo aipagarriak | DQN, PPO, SAC, A3C | Dyna, MBPO, Dreamer, MuZero |
Desberdintasun nagusia metodo bakoitzak ezagutza nola eskuratzen duen datza. Eredu gabeko RL-k ingurunea kutxa beltz gisa tratatzen du, benetako interakzioetan behatzen dituen sari eta trantsizioetatik soilik ikasten du. Pentsa ezazu bizikletaz ibiltzen ikastea bezala, saiakera errepikatuen bidez soilik. Ereduetan oinarritutako RL-k, berriz, ingurunearen arauak ulertzen saiatzen da lehenik, "zer gertatuko litzateke X egingo banu?" bezalako galderei erantzun diezaiekeen iragarpen-eredu bat eraikiz. Oinarrizko desberdintasun honek datu-eskakizunetatik hasi eta azken errendimenduraino dena baldintzatzen du.
Laginaren eraginkortasuna da ereduetan oinarritutako metodoek benetan distira egiten duten tokia. Eredurik gabeko agente batek milioika edo milaka milioi ingurune-urrats behar izan ditzake zeregin bat menperatzeko, eta ereduetan oinarritutako agente batek, berriz, antzeko errendimendua lor dezake milaka urratsekin. Honek izugarrizko garrantzia du esperientzia biltzea garestia den benetako aplikazioetan, hala nola robotikan edo osasungintzan. Hala ere, eredurik gabeko metodoek sinpleagoak eta egonkorragoak izateagatik konpentsatzen dute, ez baitute kezkatu beharrik ikasitako eredua zehatza den ala ez.
Ereduetan oinarritutako agenteek pentsatu dezakete jardun aurretik, simulazioak barne-ereduan exekutatuz. Horri esker, Monte Carlo Tree Search bezalako plangintza-estrategia sofistikatuak erabil daitezke, AlphaZeroren xake-maisutasuna bultzatu zuena. Eredu gabeko agenteek, aldiz, zuzenean erantzuten dute ikasitako politikaren arabera, aurrera begiratzerik gabe. Horrek erabakiak hartzeko unean azkarragoak egiten baditu ere, ezin dituzte epe luzerako ondorioei buruz arrazoitu, ereduetan oinarritutako sistemek bezala.
Ikuspegi hauen artean aukeratzea askotan zure muga espezifikoen araberakoa da. Eredu gabeko RL nagusi da simulazio merkea duten eszenatokietan, hala nola jokoetan edo eskala handiko hizkuntza-ereduen doikuntzan RLHFrekin. Ereduetan oinarritutako RL bikaina da inguruneko elkarrekintzak garestiak edo arriskutsuak direnean, hala nola gidatze autonomoan, robotikan eta sendagaien aurkikuntzan. MuZero bezalako ikuspegi hibridoek erakutsi dute bi paradigmak konbinatzeak bakoitzaren onurak aprobetxa ditzakeela, haien ahuleziak arinduz.
Eredu gabeko metodoak aurreikusgarriagoak izan ohi dira hedapenean, haien portaera ikasitako politikaren araberakoa baita soilik. Ereduetan oinarritutako sistemek eredu-alborapenaren erronkari aurre egin behar diote, non ikasitako dinamiken zehaztasun ezak konposatu egiten diren plangintzan zehar eta erabaki txarrak ekar ditzaketen. Ikertzaileek ziurgabetasunaren estimazioa, plangintza sendoa eta multzo-ereduak bezalako tekniken bidez jorratzen dute arazoa, baina ikerketa-arlo aktibo bat izaten jarraitzen du, eta horrek zaildu egiten du ereduetan oinarritutako ikuspegiak fidagarritasunez hedatzea.
Ereduetan oinarritutako RL beti da hobea plangintza erabiltzen duelako.
Ereduetan oinarritutako metodoak ez dira unibertsalki hobeak. Simulazioa merkea denean eta ingurunea hain konplexua denean ezen eredu zehatz bat ikastea zaila den, eredu gabeko ikuspegiek askotan emaitza hobeak lortzen dituzte. "Ez dago bazkaririk doan" printzipioa aplikatzen da, hau da, aukerarik onena zure arazoaren mugapen espezifikoen araberakoa da.
Eredurik gabeko RL-k ezin du aurrerapenik planifikatu edo pentsatu.
Eredurik gabeko agenteek ez dute erabaki-unean esplizituki planifikatzen, baina hala ere ikas ditzakete plangintza-jokabide inplizituak entrenamenduaren bidez. Errepikako politika eta arreta-mekanismoek eredurik gabeko agenteei aukera ematen diete urrats anitzeko arrazoiketa onartzen duten barne-irudikapenak garatzeko, mundu-eredu espliziturik gabe ere.
Ereduetan oinarritutako RL-k ingurune-dinamikaren ezagutza perfektua eskatzen du.
Ereduetan oinarritutako metodo modernoek datuetatik ikasten dute beren dinamika-eredua, aldez aurretik zehaztu beharrean. Eredua normalean gutxi gorabeherakoa eta inperfektua da, eta horregatik ereduaren ziurgabetasuna kudeatzeko teknikak ikerketa-arlo aktiboa dira.
Bi ikuspegi hauek guztiz bereiziak eta bateraezinak dira.
Sistema aurreratu askok bi paradigmak nahasten dituzte. MuZero-k, adibidez, ingurunearen eredu latente bat ikasten du eta plangintzarako erabiltzen du, eredu gabeko ikaskuntza teknikak aprobetxatuz. Dyna arkitekturak ikasitako ereduak eredu gabeko ikaskuntzarekin konbinatzen ditu esplizituki, bi munduetako onena lortzeko.
Eredu gabeko RL zaharkituta dago eta ereduetan oinarritutako metodoek ordezkatu dute.
Eredu gabeko RL oso garrantzitsua eta asko erabiltzen da oraindik. PPO eta SAC tresna estandarrak dira robotikan, jokoen IA-n eta hizkuntza-eredu handien entrenamenduan. Aplikazio praktiko askok oraindik ere eredu gabeko metodoak nahiago dituzte, haien sinpletasuna eta fidagarritasuna direla eta.
Aukeratu eredu gabeko indartze-ikaskuntza baliabide konputazional ugari eta simulazio merkeak dituzunean, eta zure zereginak ez duenean plangintza zabalik edo ingurune berrietara transferentziarik behar. Aukeratu ereduetan oinarritutako indartze-ikaskuntza laginen eraginkortasuna garrantzitsua denean, inguruneko elkarrekintzak garestiak direnean edo zure agenteak hainbat urrats aurreratu eta erlazionatutako zereginetan orokortu behar duenean.
Edukien argitalpenetan A/B probak aldaerak publiko segmentu desberdinetara zabaltzea eta errendimendua neurtzea dakar, behin-behineko edukien argitalpenek, berriz, bertsio bakarra guztiei aldi berean bidaltzen diete. Ikuspegi bakoitzak helburu desberdinak ditu, A/B probak datuetan oinarritutako optimizazioa lehenesten duelarik eta behin-behineko argitalpenek abiadura eta sinpletasuna lehenesten dituztelarik.
Modeloen zerbitzatzean A/B probak lehiakideen modeloen arteko trafikoa bideratzen du benetako munduko errendimendua neurtzeko, eta modelo bakarreko hedapenak, berriz, modelo bakarra bidaltzen die erabiltzaile guztiei. Taldeek bien artean aukeratzen dute arrisku-tolerantziaren, trafiko-bolumenaren eta guztiz zabaldu aurretik baliozkotze estatistikoaren beharraren arabera.
Adimen artifizialaren laguntzaileek elkarrizketa-elkarrekintzan, laguntza emozionalean eta laguntza egokitzailean jartzen dute arreta, produktibitate-aplikazio tradizionalek, berriz, zereginen kudeaketa egituratua, lan-fluxuak eta eraginkortasun-tresnak lehenesten dituzten bitartean. Konparaketak zereginetarako diseinatutako software zurrunetik produktibitatea interakzio natural eta gizakiaren antzekoarekin eta testuinguru-laguntzarekin uztartzen dituzten sistema egokitzaileetara igarotzea nabarmentzen du.
Adimen artifizialaren eta automatizazioaren arteko desberdintasun nagusiak azaltzen dituen konparazioa da hau, nola funtzionatzen duten, zein arazo ebazten dituzten, egokitasuna, konplexutasuna, kostuak eta enpresa-erabilera errealen kasuak aztertuz.
Azterketa zehatz honek IA bidezko sormena —non algoritmoen ereduen sintesiak ideien sorkuntza eta gauzatze teknikoa bizkortzen dituen— gizakiaren sormen hutsarekin alderatzen du, zeina erabat sortzen den ahultasun pertsonaletatik, sakontasun emozionaletik eta nahitako arau-hausteetatik. Tresna artifizialek sorkuntza demokratizatzen eta bolumena handitzen duten bitartean, benetako giza arteak bizitako esperientzian oinarritzen da lana esanahi sozial sakon batez hornitzeko.
