Is modh foghlama athneartaithe grádán beartais é PPO a bhfuil meas air as a chobhsaíocht agus a inscálaitheacht, agus is cur chuige bunaithe ar luach é Q-Learning a fhoghlaimíonn feidhmeanna luacha-gníomhaíochta. Déanann an dá cheann gníomhairí a oiliúint trí thriail agus earráid, ach tá difríocht bhunúsach eatarthu sa chaoi a léiríonn siad eolas agus a nuashonraíonn siad iompar.
Algartam foghlama athneartaithe grádáin beartais a nuashonraíonn beartais trí fheidhmeanna cuspóireacha gearrtha le haghaidh oiliúna cobhsaí.
Cur chuige foghlama athneartaithe bunaithe ar luachanna a mheasann an luach saothair a bhfuiltear ag súil leis as gníomhartha a dhéanamh i stáit áirithe.
| Gné | Uasmhéadú Beartais Phróximal (PPO) | Algartaim Foghlama Q |
|---|---|---|
| Cineál Algartam | Grádán beartais (ar bheartas) | Bunaithe ar luach (lasmuigh den pholasaí) |
| Bliain a tugadh isteach | 2017 (Oscailt AI) | 1989 (Watkins) |
| Sprioc Foghlama Lárnach | Feidhm beartais a mhapáil stáit chuig gníomhartha | Feidhm luach-Q ag meastachán cáilíocht gníomhaíochta |
| Tacaíocht Spáis Gníomhaíochta | Leanúnach agus discréideach | Go príomha scoite (tá síntí ann le haghaidh leanúnach) |
| Éifeachtúlacht Samplach | Measartha (éilíonn sonraí úra in aghaidh gach nuashonraithe) | Níos Airde (athúsáideann maolán athimeartha taithí) |
| Cobhsaíocht Oiliúna | Ard (cuspóir gearrtha a choisceann titim) | Níos ísle (seans maith do chlaontacht rómheastacháin) |
| Straitéis Taiscéalaíochta | Polasaí stocastach le bónais entropy | Taiscéalaíocht Epsilon-santach nó taiscéalaíocht Boltzmann |
| Cásanna Úsáide Coitianta | Róbataic, ailíniú LLM, rialú leanúnach | Imirt cluichí, tascanna cinnteoireachta discréideacha, loingseoireacht |
| Príomhathruithe | PPO le bearradh, PPO le pionós KL oiriúnaitheach | DQN, DQN Dúbailte, DQN Dueling, Bogha Ceatha |
Glacann PPO cur chuige díreach trí pholasaí paraiméadairithe a fhoghlaim a thugann dóchúlachtaí gníomhaíochta i gcás staide áirithe. Déanann sé an polasaí seo a bharrfheabhsú trí úsáid a bhaint as ardú grádánach ar na luaíochtaí ionchais. Glacann Q-Learning bealach indíreach trí mheasúnú ar dtús ar cé chomh maith is atá gach gníomh i ngach staid, agus ansin iompar a dhíorthú ó na meastacháin sin. Múnlaíonn an scoilt fhealsúnach seo gach rud ó riachtanais sonraí go feidhmíocht deiridh.
Ceann de na pointí díola is mó atá ag PPO ná a fheidhm chuspóra gearrtha, rud a chuireann teorainn leis an méid is féidir leis an mbeartas athrú in aon nuashonrú amháin. Fágann sé seo go bhfuil an oiliúint thar a bheith cobhsaí fiú ar thascanna torannacha. Is féidir le Q-Learning, go háirithe ina leaganacha doimhne, fulaingt ó éagobhsaíocht mar gheall ar chlaontacht rómheastacháin agus an fhadhb sprice gluaisteacha. Cuidíonn teicnící cosúil le líonraí sprice agus Q-Learning dúbailte, ach is gnách go dteastaíonn níos lú tiúnadh hipearparaiméadair ó PPO chun teacht le chéile go hiontaofa.
Is gnách go mbíonn Q-Learning níos fearr ar éifeachtúlacht samplaí toisc gur féidir leis eispéiris a stóráil i maolán athsheinm agus foghlaim uathu arís agus arís eile. Tá PPO de réir polasaí, rud a chiallaíonn go gcailltear sonraí de ghnáth tar éis gach timthriall nuashonraithe, rud a chiallaíonn go bhfuil gá le níos mó idirghníomhaíochtaí timpeallachta. I dtimpeallachtaí insamhalta ina bhfuil giniúint sonraí saor, is annamh a bhíonn tábhacht leis seo. I róbataic fíorshaoil nó insamhaltaí costasacha, áfach, is féidir le hathúsáid Q-Learning ar shonraí san am atá thart a bheith ina bhuntáiste mór.
Láimhseálann PPO spásanna gníomhaíochta leanúnacha go nádúrtha toisc go n-aschurann sé dáileadh dóchúlachta thar ghníomhartha, is minic a bhíonn sé Gaussach. Dearadh Q-Learning ar dtús le haghaidh gníomhartha scoite, áit ar féidir leat an luach Q a chuardach go simplí do gach rogha. Tá síntí cosúil le Feidhm Bhuan-thábhacht Normalaithe (NAF) nó Q-Learning dáileacháin ann, ach is é PPO an rogha is coitianta fós le haghaidh fadhbanna rialaithe leanúnacha cosúil le ionramháil róbatach.
Spreagann PPO taiscéalaíocht trí bheartais stocastacha agus bónais eintreapachta a chuireann cosc ar chomhtháthú roimh am i dtreo iompair chinntitheach. Braitheann Q-Learning ar rialacha taiscéalaíochta follasacha cosúil le epsilon-greedy, áit a roghnaíonn an gníomhaire gníomhartha randamacha le dóchúlacht áirithe. Is gnách go mbíonn cur chuige PPO ag scálú níos fearr chuig spásanna gníomhaíochta ardtoiseacha, agus oibríonn taiscéalaíocht níos simplí Q-Learning go maith i dtimpeallachtaí scoite le comhaireamh gníomhartha inbhainistithe.
Is é PPO an rogha réamhshocraithe do go leor córas táirgthe, lena n-áirítear foghlaim athneartaithe ó aiseolas daonna (RLHF) a úsáidtear chun samhlacha teanga móra a oiliúint. Tá Q-Learning agus a chuid malairtí doimhne fós ceannasach i dtagarmharcanna cluichíochta agus i dtascanna cinnteoireachta discréideacha. Tá éiceachórais shaibhre cur i bhfeidhm ag an dá algartam, le PPO ar fáil i leabharlanna cosúil le Stable Baselines3 agus RLlib, agus malairtí Q-Learning i mbeagnach gach creat RL.
Is halgartaim inmhalartaithe iad PPO agus Q-Learning a réitíonn na fadhbanna céanna.
Léiríonn siad cur chuige bunúsacha difriúla maidir le foghlaim athneartaithe. Déanann PPO polasaí a bharrfheabhsú go díreach, agus meastachán ar luachanna gníomhaíochta le Q-Learning. Sármhaitheas i gcásanna éagsúla atá i ngach ceann acu, agus braitheann an rogha eatarthu ar do spás gníomhaíochta, infhaighteacht sonraí, agus riachtanais chobhsaíochta.
Tá Q-Learning as dáta agus tá halgartaim níos nuaí ina áit.
Tá Q-Learning fós an-ábhartha, go háirithe trína shíntí foghlama domhain ar nós DQN agus Rainbow. Leanann na cineálacha seo de thorthaí den scoth a bhaint amach ar go leor tagarmharcanna agus is iad an bunús coincheapúil do mhodhanna nua.
Bíonn PPO i gcónaí níos fearr ná Q-Learning mar go bhfuil sé níos nuaí.
Ní chiallaíonn níos nuaí go bhfuil sé níos fearr go huilíoch. Sármhaith le PPO i rialú leanúnach agus in oiliúint ar scála mór, ach is féidir le Q-Learning é a shárú i dtimpeallachtaí ar leith le sonraí teoranta. Braitheann feidhmíocht go mór ar an bhfadhb shonrach agus ar shonraí an chur i bhfeidhm.
Ní féidir le Q-Learning oibriú le spásanna gníomhaíochta leanúnacha.
Cé go bhfuil an Q-Learning caighdeánach deartha le haghaidh gníomhartha ar leithligh, cuireann roinnt síntí cosúil le NAF, Q-Learning dáilte, agus cur chuige leabú gníomhaíochta rialú leanúnach ar fáil. Mar sin féin, níl siad seo chomh coitianta le modhanna grádán beartais le haghaidh tascanna leanúnacha.
Ní gá aon choigeartú hipearparaiméadair a dhéanamh ar PPO le go n-oibreoidh sé i gceart.
Tá PPO níos maithiúnaí ná go leor halgartaim, ach fós féin, éilíonn sé coigeartú cúramach ar an bparaiméadar gearrtha, ar an ráta foghlama, agus ar an gcomhéifeacht entropy. Is féidir le droch-roghanna a bheith ina gcúis le cóineasú mall nó le beartais neamh-optamacha.
Roghnaigh PPO nuair a bhíonn tú ag obair le rialú leanúnach, róbataic, nó oiliúint beartais ar scála mór nuair is mó a bhfuil cobhsaíocht tábhachtach. Roghnaigh Q-Learning le haghaidh spásanna gníomhaíochta discréideacha, cásanna teoranta ó thaobh samplaí de, nó nuair is gá duit leas a bhaint as athsheinm taithí. Fanann an dá cheann ina halgartaim bhunúsacha, agus cabhraíonn tuiscint ar a gcomhbhabhtálacha leat an uirlis cheart a roghnú do do dhúshlán foghlama athneartaithe ar leith.
Déantar comparáid anseo idir AI ar an ngléas agus AI sa scamall, agus béim á cur ar an gcaoi a ndéanann siad próiseáil ar shonraí, a dtionchar ar phríobháideachas, ar fheidhmíocht, ar inrochtaineacht, agus ar chásanna úsáide tipiciúla do idirghníomhaíochtaí i ndáiríre, do mhúnlaí móra-scála, agus do riachtanais ceangalacha i bhfeidhmchláir nua-aoiseacha.
Leagann an comparáid ailtireachta seo béim ar na príomhdhifríochtaí idir córais AI atá feasach ar chomhthéacs, a dhéanann anailís dhinimiciúil ar shonraí comhthéacsúla amhail intinn an úsáideora, stair agus timpeallacht, agus córais atá dall ar chomhthéacs, a phróiseálann ionchuir mar imeachtaí scoite bunaithe go hiomlán ar rialacha seasta, réamhshainithe.
Déanann an miondealú ailtireachta seo anailís ar na paraidímí ar leith de chórais intleachta saorga atá dírithe ar spriocanna agus atá dírithe ar ionchur. Cé go mbíonn ailtireachtaí atá dírithe ar ionchur thar barr i bpróiseáil imoibríoch agus in aithint patrún meandarach, bíonn na creatlacha cognaíocha chun cinn atá riachtanach le haghaidh réasúnaíocht ilchéime, pleanáil oiriúnaitheach, agus réiteach fadhbanna uathrialach ag córais atá dírithe ar spriocanna.
Sa mhiondealú mionsonraithe seo, déantar iniúchadh ar na difríochtaí bunúsacha idir Intleacht Shaorga Mhachnamhach agus Intleacht Shaorga Dhea-bhreithnithe, ag mapáil a n-ailtireacht le próiseáil chognaíoch Chóras 1 agus Chóras 2 an duine. Clúdaítear an chaoi a gcuireann na córais seo i bhfeidhm ar réiteach fadhbanna, ar inoiriúnaitheacht fíor-ama, agus ar éifeachtúlacht ríomhaireachtúil chun todhchaí na hintleachta saorga ilchisealaithe a shainiú.
Déanann córais dhíláraithe AI faisnéis, sonraí agus ríomhaireacht a dháileadh ar fud nóid neamhspleácha, agus is minic a thugann siad tús áite do oscailteacht agus do rialú úsáideoirí, agus déanann cuideachtaí córais chorparáideacha AI a bhainistiú go lárnach agus iad ag optamú feidhmíochta, brabúis agus comhtháthú táirgí. Múnlaíonn an dá chur chuige an chaoi a dtógtar, a rialaítear agus a rochtaintear AI, ach tá difríocht mhór eatarthu ó thaobh trédhearcachta, úinéireachta agus rialaithe de.
