Cuireann bearradh beartais i PPO srian ar cé chomh fada is féidir le beartas nua imeacht ón seanbheartas le linn gach nuashonraithe, rud a choinníonn an oiliúint cobhsaí. Ligeann nuashonruithe beartais neamhtheoranta don bheartas nua aistriú go saor, rud a fhéadann foghlaim a bhrostú ach is minic a bhíonn éagobhsaíocht nó cliseadh mar thoradh air i dtimpeallachtaí casta.
Teicníc in Optamú Beartais Phróximal a chuireann teorainn leis an méid is féidir leis an mbeartas athrú in aghaidh gach céim nuashonraithe.
Cur chuige ina bhféadann paraiméadair beartais athrú de mhéid ar bith le linn aon athrá oiliúna aonair gan srianta soiléire.
| Gné | Gearradh Polasaí i PPO | Nuashonruithe Polasaí Gan Teorainn |
|---|---|---|
| Srian Nuashonraithe | Gearrtha go cóimheas de 0.1–0.2 | Gan aon srianadh sainráite |
| Cobhsaíocht Oiliúna | Go ginearálta cobhsaí thar athrá | Seans maith go mbeidh luaineachtaí agus titim ann |
| Éifeachtúlacht Samplach | Ard, athúsáideann sé conairí bailithe | Athraitheach, is minic a bhíonn sonraí úra ag teastáil |
| Castacht Chur i bhFeidhm | Cuspóir measartha, gearrtha aonair | Dreapadh simplí, caighdeánach le fána |
| Íogaireacht Hipirpharaiméadar | Tá raon gearrtha níos ísle maithiúnach | Tá ráta foghlama níos airde ríthábhachtach |
| Riosca Teipthe Beartais | Íseal mar gheall ar shrianadh gaireachta | Ard gan cosaintí seachtracha |
| Cásanna Úsáide Coitianta | Róbataic, hintleacht shaorga cluichí, RLHF, rialú leanúnach | Fadhbanna simplí bréagán, anailís theoiriciúil |
| Bunús | OpenAI, páipéar PPO 2017 | Litríocht luath maidir le grádán beartais, 1990idí–2000idí |
Oibríonn bearradh beartais i PPO tríd an gcóimheas idir na dóchúlachtaí gníomhaíochta nua agus sean a ríomh, agus ansin an cóimheas sin a bhearradh chun fanacht laistigh de bhanda cúng (de ghnáth 0.8 go 1.2). Nuair a dhéanann an cóimheas iarracht bogadh lasmuigh den bhanda seo, déantar an comhartha grádáin a nialú, rud a insíonn don uasmhéadaitheoir go héifeachtach 'ná brúigh níos faide sa treo seo.' Seachnaíonn nuashonruithe neamhtheoranta an chosaint seo go hiomlán, rud a ligeann don uasmhéadaitheoir na paraiméadair beartais a bhogadh cibé áit a bhfuil an grádán ag pointeáil, is cuma cé chomh drámatúil is atá an t-athrú.
Tuilleann an cur chuige bearrtha a cháil as iontaofacht toisc go gcoisceann sé an dearmad tubaisteach a bhíonn ag cur as do mhodhanna neamhtheoranta. Nuair a aimsítear polasaí maith, coinníonn bearradh cosc air é a scriosadh ag nuashonrú rómhuiníneach. Is féidir le nuashonruithe neamhtheoranta dul chun cinn a aimsiú níos tapúla ó am go chéile, ach bíonn nós acu freisin seachtainí dul chun cinn a chaitheamh amach i gcéim amháin, agus is é sin an fáth a seachnaíonn formhór na gcóras táirgthe iad.
Cuireann bearradh PPO ar chumas il-réanna optamaithe a dhéanamh ar an mbaisc chéanna de thaithí bailithe, rud a fheabhsaíonn éifeachtúlacht na samplaí go mór. Ós rud é nach féidir leis an mbeartas imeacht rófhada, fanann na sonraí ábhartha thar roinnt céimeanna grádáin. De ghnáth, bíonn samplaí úra ag teastáil le haghaidh nuashonruithe neamhtheoranta gach athrá ós rud é go bhféadfadh an beartas a bheith athraithe chomh mór sin nach léiríonn sean-threoirlínte an t-iompar reatha a thuilleadh, rud a chuireann acmhainní ríomhaireachta agus comhshaoil amú.
Déanann bearradh PPO thar a bheith maithiúnach le hipearparaiméadair. Oibríonn an raon bearrtha de 0.2 go maith thar raon ollmhór tascanna gan mórán coigeartaithe. Maireann agus faigheann bás nuashonruithe neamhtheoranta de réir an ráta foghlama: róbheag agus crawlann foghlama, rómhór agus bíonn an polasaí éagsúil. Fágann an íogaireacht seo modhanna neamhtheoranta frustrach do chleachtóirí nach bhfuil am acu le haghaidh scuabtha fairsinge.
Siúil trí aon bhunachar cód RL nua-aimseartha agus feicfidh tú PPO i réim sa tírdhreach, ó obair OpenAI féin go saotharlanna róbataic agus píblínte mínchoigeartaithe samhlacha teanga cosúil le RLHF. Fanann nuashonruithe beartais gan teorainn den chuid is mó i dtéacsleabhair agus i bplé teoiriciúil, agus uaireanta tagann siad chun cinn i bpáipéir thaighde a bhfuil bonnlíne de dhíth orthu le comparáid a dhéanamh ina gcoinne. Léiríonn an bhearna san uchtáil blianta fada de fhianaise carntha faoi na cineálacha cur chuige a oibríonn i ndáiríre i gcleachtas.
Cuireann bearradh cosc iomlán ar an mbeartas athrú suntasach riamh.
Ní chuireann bearradh teorainn ach leis an méid is féidir leis an mbeartas a athrú laistigh d'aon chéim nuashonraithe amháin. Thar go leor athrá, is féidir leis an mbeartas imeacht go suntasach fós fad is a fhanann gach céim aonair laistigh den raon bearrtha. Is srian in aghaidh na céime é, ní srian buan é.
Tagann nuashonruithe neamhtheoranta le chéile níos tapúla i gcónaí ná modhanna gearrtha.
D’fhéadfadh nuashonruithe gan teorainn a bheith níos tapúla ar dtús, ach is minic a bhíonn siad ag teacht salach ar a chéile nó ag titim as a chéile, rud a chuireann iallach ar atosú a scriosann aon ghnóthachain luatha. Go praiticiúil, is minic a bhaineann modhanna gearrtha cosúil le PPO feidhmíocht deiridh níos fearr amach i níos lú ama clog balla toisc nach gcaitheann siad iarracht ag téarnamh ó nuashonruithe dona.
Déanann bearradh PPO é coibhéiseach le TRPO.
Cuireann an dá mhodh srian ar nuashonruithe beartais, ach úsáideann TRPO srian crua ar dhifríocht KL le cuardach líne, agus úsáideann PPO gearrthóg bhog ar an gcóimheas dóchúlachta. Tá PPO níos simplí, tacaíonn sé le roinnt réanna in aghaidh an bhaisc, agus scálann sé níos fearr chuig samhlacha móra, agus is é sin an fáth gur tháinig sé in ionad TRPO den chuid is mó i gcleachtas.
Ciallaíonn raon gearrthóg níos mó foghlaim níos ionsaithí i gcónaí.
Ceadaíonn méadú ar an raon gearrthóige nuashonruithe níos mó, ach laghdaíonn sé freisin éifeacht chosanta na gearrthóige. Thar phointe áirithe, iompraíonn an algartam níos mó cosúil le nuashonrú neamhtheoranta agus cailleann sé a shochair chobhsaíochta. Is pointe milis é an raon réamhshocraithe 0.2, ní pointe tosaigh le haghaidh coigeartú suas.
Tá nuashonruithe beartais gan teorainn as dáta agus gan úsáid.
Tá luach fós ag baint le nuashonruithe neamhtheoranta mar bhunlínte i dtaighde agus oibríonn siad go réasúnta maith i dtimpeallachtaí simplí cosúil le domhanghreille beag nó tascanna rialaithe ísealtoiseacha. Feidhmíonn siad freisin mar uirlisí oideolaíocha chun tuiscint a fháil ar an gcúis ar forbraíodh modhanna réigiún iontaoibhe sa chéad áit.
Roghnaigh bearradh beartais i PPO aon uair a bhíonn oiliúint iontaofa, in-athchruthaithe de dhíth ort i dtimpeallachtaí éagsúla, go háirithe i suíomhanna táirgthe nó taighde ina bhfuil cobhsaíocht níos tábhachtaí ná luas amh. Ní bhíonn ciall le nuashonruithe beartais gan teorainn ach amháin i gcás fadhbanna simplí, ísealtoiseacha nó staidéir theoiriciúla ina bhfuil tú ag iarraidh go sonrach breathnú ar na modhanna teipe a dearadh an bearradh chun cosc a chur orthu.
Déantar comparáid anseo idir AI ar an ngléas agus AI sa scamall, agus béim á cur ar an gcaoi a ndéanann siad próiseáil ar shonraí, a dtionchar ar phríobháideachas, ar fheidhmíocht, ar inrochtaineacht, agus ar chásanna úsáide tipiciúla do idirghníomhaíochtaí i ndáiríre, do mhúnlaí móra-scála, agus do riachtanais ceangalacha i bhfeidhmchláir nua-aoiseacha.
Leagann an comparáid ailtireachta seo béim ar na príomhdhifríochtaí idir córais AI atá feasach ar chomhthéacs, a dhéanann anailís dhinimiciúil ar shonraí comhthéacsúla amhail intinn an úsáideora, stair agus timpeallacht, agus córais atá dall ar chomhthéacs, a phróiseálann ionchuir mar imeachtaí scoite bunaithe go hiomlán ar rialacha seasta, réamhshainithe.
Déanann an miondealú ailtireachta seo anailís ar na paraidímí ar leith de chórais intleachta saorga atá dírithe ar spriocanna agus atá dírithe ar ionchur. Cé go mbíonn ailtireachtaí atá dírithe ar ionchur thar barr i bpróiseáil imoibríoch agus in aithint patrún meandarach, bíonn na creatlacha cognaíocha chun cinn atá riachtanach le haghaidh réasúnaíocht ilchéime, pleanáil oiriúnaitheach, agus réiteach fadhbanna uathrialach ag córais atá dírithe ar spriocanna.
Sa mhiondealú mionsonraithe seo, déantar iniúchadh ar na difríochtaí bunúsacha idir Intleacht Shaorga Mhachnamhach agus Intleacht Shaorga Dhea-bhreithnithe, ag mapáil a n-ailtireacht le próiseáil chognaíoch Chóras 1 agus Chóras 2 an duine. Clúdaítear an chaoi a gcuireann na córais seo i bhfeidhm ar réiteach fadhbanna, ar inoiriúnaitheacht fíor-ama, agus ar éifeachtúlacht ríomhaireachtúil chun todhchaí na hintleachta saorga ilchisealaithe a shainiú.
Déanann córais dhíláraithe AI faisnéis, sonraí agus ríomhaireacht a dháileadh ar fud nóid neamhspleácha, agus is minic a thugann siad tús áite do oscailteacht agus do rialú úsáideoirí, agus déanann cuideachtaí córais chorparáideacha AI a bhainistiú go lárnach agus iad ag optamú feidhmíochta, brabúis agus comhtháthú táirgí. Múnlaíonn an dá chur chuige an chaoi a dtógtar, a rialaítear agus a rochtaintear AI, ach tá difríocht mhór eatarthu ó thaobh trédhearcachta, úinéireachta agus rialaithe de.
