Spreagann uasmhéadú luaíochta gníomhairí foghlama athneartaithe chun gnóthachain charnacha amach anseo a lorg, agus cuireann íoslaghdú caillteanais foghlaim mhaoirseachta i bhfeidhm ar earráid réamhaisnéise a laghdú i gcoinne sonraí lipéadaithe. Múnlaíonn an dá chreatlach an chaoi a bhfoghlaimíonn córais AI, ach tá difríocht bhunúsach eatarthu i gcomharthaí aiseolais, i gceanglais sonraí, agus sna cineálacha fadhbanna is fearr a réitíonn siad.
Creat foghlama ina roghnaíonn gníomhaire gníomhartha chun comharthaí luach saothair carnacha amach anseo óna thimpeallacht a uasmhéadú.
Creat foghlama ina ndéanann samhail a paraiméadair a choigeartú chun earráid intomhaiste a laghdú i gcoinne samplaí lipéadaithe fírinne an talaimh.
| Gné | Uasmhéadú Luach Saothair | Íoslaghdú Caillteanais i bhFoghlaim Mhaoirseachta |
|---|---|---|
| Paraidím Foghlama | Foghlaim athneartaithe | Foghlaim faoi mhaoirseacht |
| Comhartha Aiseolais | Luach saothair scálach, a bhíonn moillithe go minic | Sprioc lipéadaithe, láithreach de réir an tsampla |
| Riachtanas Sonraí | Idirghníomhaíocht nó conairí comhshaoil | Tacar sonraí lipéadaithe réamhbhailithe |
| Feidhm Chuspóra | Luach saothair carnach ionchais | Caillteanas eimpíreach thar shraith oiliúna |
| Riachtanas Taiscéalaíochta | Riachtanach, ní mór don ghníomhaire gníomhartha nua a thriail | Ní gá, tá na sonraí socraithe |
| Algartaim tipiciúla | Foghlaim-Q, DQN, PPO, A3C | Sliocht grádáin, SGD, Ádhamh |
| Caillteanas/Luach Saothair Choitianta | Feidhm luach saothair atá sainithe ag an timpeallacht | Tras-eantropacht, MSE, caillteanas insí |
| Sannadh Creidmheasa | Deacair, d'fhéadfadh luach saothair a bheith gann agus moillithe | Earráid dhíreach ceangailte le gach tuar |
| Éifeachtúlacht Samplach | Go ginearálta níos ísle, teastaíonn go leor idirghníomhaíochtaí uaidh | Go ginearálta níos airde le lipéid cháilíochta |
Braitheann uasmhéadú luach saothair ar luach saothair scálach a thagann ón timpeallacht, uaireanta tar éis na céadta nó na mílte gníomh amháin. I gcodarsnacht leis sin, faigheann íoslaghdú caillteanais comhartha earráide beacht do gach tuar toisc go bhfuil an freagra ceart ag gabháil le gach sampla oiliúna cheana féin. Fágann sé seo go bhfuil sé i bhfad níos éasca foghlaim mhaoirseachta a dhífhabhtú, ós rud é gur féidir leat a sheiceáil i gcónaí cad a rinne an tsamhail mícheart ar ionchur ar leith.
Éilíonn foghlaim mhaoirseachta tacar sonraí coimeádta de phéirí ionchuir-aschuir, rud a d’fhéadfadh a bheith costasach a tháirgeadh ach a bhíonn statach nuair a bheidh sé tógtha. Ina áit sin, éilíonn foghlaim athneartaithe timpeallacht, bíodh sí insamhalta nó fíor, ar féidir leis an ngníomhaire idirghníomhú léi arís agus arís eile. Go praiticiúil, is minic a bhraitheann RL ar insamhlóirí nó ar fhéin-imirt toisc go bhfuil idirghníomhaíocht sa saol réadúil mall, costasach nó rioscach.
Is teannas sainiúil in uasmhéadú luach saothair cothromaíocht a bhaint amach idir iniúchadh ar ghníomhartha nach bhfuil cur amach acu orthu agus leas a bhaint as gníomhartha maithe ar a bhfuil aithne orthu. Gan dóthain iniúchadh, is féidir le gníomhaire RL socrú ar pholasaí neamh-optamach agus gan straitéisí níos fearr a aimsiú choíche. Seachnaíonn foghlaim mhaoirseachta seo go hiomlán toisc go bhfuil an dáileadh oiliúna socraithe agus go n-oireann an tsamhail do na patrúin a fheiceann sé.
Nuair nach dtagann luach saothair ach ag deireadh seicheamh fada, ní mór don ghníomhaire a dhéanamh amach cé na gníomhartha níos luaithe a bhí tábhachtach i ndáiríre. Tá an fhadhb sannadh creidmheasa seo ar cheann de na codanna is deacra de RL agus spreagann sé teicnící cosúil le foghlaim difríochta ama agus rianta incháilitheachta. I bhfoghlaim mhaoirseachta, is beag an rud é sannadh creidmheasa: cuireann an caillteanas earráid i leith na bparaiméadar atá freagrach as an tuar sonrach sin.
Baineann íoslaghdú caillteanais leas as uasmhéadaitheoirí dea-thuigthe cosúil le Adam agus SGD, le grádáin réasúnta réidh thar bhaisceanna móra. Baineann uasmhéadú luaíochta le dáiltí sonraí neamh-stáisiúnacha toisc go n-athraíonn iompar an ghníomhaire féin na stáit a dtugann sé cuairt orthu, rud a d'fhéadfadh oiliúint a dhíchobhsú. Tá teicnící cosúil le líonraí sprice, bearradh, agus réigiúin muiníne ann den chuid is mó chun uasmhéadú RL a chosc ó thitim as a chéile.
Is í an fhoghlaim mhaoirseachta is mó a bhíonn i réim in aon áit a bhfuil sonraí lipéadaithe ann: aicmiú íomhá, aistriúchán meaisín, aithint urlabhra, agus formhór na samhlacha bunúsacha atá ann inniu. Lonraíonn uasmhéadú luach saothair nuair is é an sprioc cinnteoireacht sheicheamhach, amhail imirt cluichí, rialú róbatach, nó méadrachtaí fadtéarmacha a bharrfheabhsú i gcórais mholtóra. Úsáideann cur chuige hibrideacha cosúil le RLHF uasmhéadú luach saothair ar bharr samhail mhaoirseachta chun aschuir a ailíniú le roghanna daonna.
Níl in uasmhéadú luaíochta agus íoslaghdú caillteanais ach dhá ainm don rud céanna.
Déanann siad cuspóirí atá go bunúsach difriúil a bharrfheabhsú. Laghdaíonn íoslaghdú caillteanais earráid réamhaisnéise ar shraith sonraí seasta, agus uasmhéadaíonn uasmhéadú luach saothair an toradh ionchais ó idirghníomhaíochtaí comhshaoil. Tá an mhatamaitic, na sonraí, agus na hiompraíochtaí a eascraíonn astu sách difriúil.
Ní bhíonn aon chineál luach saothair i gceist le foghlaim faoi mhaoirseacht riamh.
Is féidir feidhmeanna caillteanais a mheas mar luaíochtaí diúltacha, agus meascann go leor córas an dá pharaidím. Mar shampla, trí fhoghlaim threisithe ó aiseolas daonna, déantar samhail luaíochta a oiliúint ag baint úsáide as teicnící maoirseachta agus ansin déantar polasaí a bharrfheabhsú i gcoinne an luaíochta sin.
Bíonn níos mó sonraí ag teastáil i gcónaí le haghaidh foghlama athneartaithe ná mar a bhíonn ag teastáil le haghaidh foghlaim faoi mhaoirseacht.
Braitheann éifeachtúlacht samplach go mór ar an timpeallacht agus ar an algartam. Is féidir le RL bunaithe ar mhúnla agus RL as líne a bheith thar a bheith éifeachtach ó thaobh samplaí de, agus is féidir le roinnt tascanna maoirseachta le lipéid theoranta a bheith ocrasach ó thaobh sonraí de ar a mbealach féin.
Má bhaineann samhail caillteanas íseal oiliúna amach, tá an tasc foghlamtha aici i ndáiríre.
Ní chiallaíonn caillteanas íseal ach go n-oireann an tsamhail don dáileadh oiliúna. Ní deir sé tada faoi ghinearálú, faoi dhianacht, ná faoi cibé an ngabhann an cuspóir féin an rud atá tábhachtach duit i ndáiríre, agus is é sin an fáth go gcuirtear uasmhéadú luach saothair leis uaireanta.
Ráthaíonn uasmhéadú luaíochta iompar is fearr.
Ní ráthaítear ach iompar is fearr i leith na feidhme luach saothair sonraithe. Bíonn luach saothair atá deartha go dona ina chúis le hacaíocht luach saothair, áit a bhfaigheann an gníomhaire bealaí éalaithe a uasmhéadaíonn an scór gan an fhadhb atá beartaithe a réiteach.
Roghnaigh íoslaghdú caillteanais nuair a bhíonn sonraí lipéadaithe ardchaighdeáin agus tasc tuartha dea-shainithe agat, ós rud é go bhfuil sé níos tapúla, níos cobhsaí, agus níos éasca a chur i bhfeidhm. Déan uasmhéadú luach saothair a bhaint amach nuair a bhaineann an fhadhb le cinntí seicheamhacha, torthaí moillithe, nó timpeallachtaí nach bhfuil an gníomh ceart ar eolas roimh ré. I saorga nua-aimseartha, déantar an dá rud a chomhcheangal níos mó agus níos mó, agus réamhoiliúint mhaoirseachta ag soláthar an bhunchloiche agus uasmhéadú stíl RL ag múnlú an iompair chríochnaithigh.
Déantar comparáid anseo idir AI ar an ngléas agus AI sa scamall, agus béim á cur ar an gcaoi a ndéanann siad próiseáil ar shonraí, a dtionchar ar phríobháideachas, ar fheidhmíocht, ar inrochtaineacht, agus ar chásanna úsáide tipiciúla do idirghníomhaíochtaí i ndáiríre, do mhúnlaí móra-scála, agus do riachtanais ceangalacha i bhfeidhmchláir nua-aoiseacha.
Leagann an comparáid ailtireachta seo béim ar na príomhdhifríochtaí idir córais AI atá feasach ar chomhthéacs, a dhéanann anailís dhinimiciúil ar shonraí comhthéacsúla amhail intinn an úsáideora, stair agus timpeallacht, agus córais atá dall ar chomhthéacs, a phróiseálann ionchuir mar imeachtaí scoite bunaithe go hiomlán ar rialacha seasta, réamhshainithe.
Déanann an miondealú ailtireachta seo anailís ar na paraidímí ar leith de chórais intleachta saorga atá dírithe ar spriocanna agus atá dírithe ar ionchur. Cé go mbíonn ailtireachtaí atá dírithe ar ionchur thar barr i bpróiseáil imoibríoch agus in aithint patrún meandarach, bíonn na creatlacha cognaíocha chun cinn atá riachtanach le haghaidh réasúnaíocht ilchéime, pleanáil oiriúnaitheach, agus réiteach fadhbanna uathrialach ag córais atá dírithe ar spriocanna.
Sa mhiondealú mionsonraithe seo, déantar iniúchadh ar na difríochtaí bunúsacha idir Intleacht Shaorga Mhachnamhach agus Intleacht Shaorga Dhea-bhreithnithe, ag mapáil a n-ailtireacht le próiseáil chognaíoch Chóras 1 agus Chóras 2 an duine. Clúdaítear an chaoi a gcuireann na córais seo i bhfeidhm ar réiteach fadhbanna, ar inoiriúnaitheacht fíor-ama, agus ar éifeachtúlacht ríomhaireachtúil chun todhchaí na hintleachta saorga ilchisealaithe a shainiú.
Déanann córais dhíláraithe AI faisnéis, sonraí agus ríomhaireacht a dháileadh ar fud nóid neamhspleácha, agus is minic a thugann siad tús áite do oscailteacht agus do rialú úsáideoirí, agus déanann cuideachtaí córais chorparáideacha AI a bhainistiú go lárnach agus iad ag optamú feidhmíochta, brabúis agus comhtháthú táirgí. Múnlaíonn an dá chur chuige an chaoi a dtógtar, a rialaítear agus a rochtaintear AI, ach tá difríocht mhór eatarthu ó thaobh trédhearcachta, úinéireachta agus rialaithe de.
