Is dhá algartam comharthaíochta fo-fhocal a úsáidtear go forleathan iad Byte Pair Encoding agus WordPiece a chumhachtaíonn samhlacha NLP nua-aimseartha, agus difríochtaí iontu go príomha sa chaoi a gcuireann siad comharthaí le chéile le linn oiliúna agus a méadrachtaí scórála.
Algartam comharthaíochta fo-fhocal a chumasc na péirí carachtar cóngaracha is minice go hathchleachtach i gcomharthaí nua.
Modh comharthaíochta fo-fhocal a chumasc comharthaí bunaithe ar uasmhéadú dóchúlachta seachas minicíocht amh.
| Gné | Ionchódú Péire Beart | Comharthaíocht WordPiece |
|---|---|---|
| Critéar Cumaisc | Minicíocht na mbeirteanna cóngaracha | Dóchúlacht sonraí oiliúna |
| Cásanna Úsáide Príomhúla | Sraith GPT, RoBERTa, CLIP | BERT, Driogaireacht BERT, ALBERT |
| Túsú Foclóra | Carachtair aonair nó beartáin | Carachtair aonair |
| Láimhseáil Focal Neamhchoitianta | Roinntear ina aonaid fho-fhocal go minic | Scoilteanna bunaithe ar dheighilt bunaithe ar dóchúlacht |
| Luas Oiliúna | Go ginearálta níos tapúla mar gheall ar chomhaireamh simplí | Beagán níos moille mar gheall ar ríomh dóchúlachta |
| Stíl Aschuir Chomhartha | Is minic a bhíonn sé níos gráinní | Is minic a bhíonn sé níos comhdhlúite le haghaidh focail choitianta |
| Forbairt Bhunaidh | 1994 mar chomhbhrú; 2016 le haghaidh NLP | Foireann Aitheantas Urlabhra Google |
Tugann BPE faoi chomharthaíocht mar fhadhb chomhbhrúite, ag cumasc go fonnmhar cibé péirí is minice a fheictear sa chorpas oiliúna. Fágann an cur chuige simplí seo atá bunaithe ar mhinicíocht go bhfuil sé iomasach agus réasúnta tapa le ríomh. Glacann WordPiece uillinn níos dóchúla, ag fiafraí cén cumasc a dhéanfadh na sonraí oiliúna is dóichí faoi thoimhde samhail teanga unigram. Mar thoradh ar an aistriú caolchúiseach seo i bhfrámaíocht, bíonn teorainneacha comharthaí éagsúla ann, go háirithe i gcás teangacha atá saibhir ó thaobh moirfeolaíochta de.
Ós rud é go ndéanann BPE minicíocht amháin a shaothrú, uaireanta roinneann sé focail ag pointí atá mínádúrtha ó thaobh na teangeolaíochta de má tharlaíonn gur patrúin choitianta iad sin sna sonraí. Is gnách go mbíonn meas níos fearr ag cur chuige WordPiece atá bunaithe ar dhóchúlacht ar theorainneacha moirféime, rud a chruthaíonn comharthaí a ailíníonn níos dlúithe le haonaid bhríocha. I gcás an Bhéarla, feidhmíonn an dá mhodh ar bhealach cosúil, ach bíonn an difríocht níos suntasaí i dteangacha a bhfuil moirfeolaíocht níos saibhre acu cosúil leis an nGearmáinis nó leis an Tuircis.
Is minic a bhíonn an rogha idir na comharthaí seo bunaithe ar an ailtireacht mhúnla atá in úsáid agat seachas rogha dhomhain don algartam féin. Tá teaghlach GPT OpenAI caighdeánaithe ar BPE, mar sin faigheann aon duine a dhéanann na samhlacha seo a choigeartú nó a imscaradh an scéim comharthaíochta sin mar oidhreacht. Dhaingnigh éiceachóras BERT Google WordPiece mar an rogha de facto do mhúnlaí claochladáin ionchódóra amháin. Ciallaíonn an daingniú éiceachórais seo nach mbíonn cleachtóirí ag athrú comharthaí go neamhspleách ar ailtireachtaí mhúnla go minic.
Bíonn deacrachtaí ag an dá algartam le cásanna imeallacha áirithe, ach ar bhealaí difriúla. Is féidir le BPE a bheith leochaileach le spás bán agus poncaíocht, agus uaireanta bíonn comharthaí gan choinne á dtáirgeadh nuair a athraíonn an fhormáidiú. De ghnáth, cuireann WordPiece siombail réimír speisialta (cosúil le ## i BERT) leis chun fofhocail leanúnacha a léiriú, rud a fhágann go bhfuil an téacs bunaidh athchruthaithe níos soiléire ach a thugann isteach freisin déantáin chomharthaíochta a gcaithfidh samhlacha iartheachtacha foghlaim conas a láimhseáil.
Le blianta beaga anuas, tá forbairt shuntasach feicthe thar an dá algartam. Cuireann SentencePiece creat aontaithe ar fáil ar féidir leis comharthaíocht mhúnla teanga BPE, WordPiece, nó unigram a chur i bhfeidhm le leabharlann aonair. Oibríonn BPE ar leibhéal na ngiotán (a úsáidtear i GPT-2) ar ghiotáin amha seachas ar charachtair Unicode, rud a chuireann deireadh le saincheisteanna comharthaí anaithnide go hiomlán. Idir an dá linn, tugann cur chuige níos nuaí cosúil le titim amach BPE stocastacht isteach le linn oiliúna chun feabhas a chur ar dhianacht. Léiríonn na forbairtí seo, cé go bhfuil BPE agus WordPiece fós bunúsach, go leanann an réimse ag dul chun cinn.
Bíonn comharthaíochtaí difriúla ag BPE agus WordPiece i gcónaí don téacs céanna.
I gcás go leor focal coitianta Béarla, tagann an dá algartam le chéile i ndáiríre ar dheighiltí comhionanna nó beagnach comhionanna. Bíonn na difríochtaí níos soiléire le focail neamhchoitianta, téarmaí atá casta ó thaobh moirfeolaíochta de, agus i dteangacha a bhfuil patrúin infhillte níos saibhre acu ná an Béarla.
Úsáideann WordPiece líonra néarach le linn comharthaíochta.
In ainneoin a úsáide i samhlacha néaracha, níl WordPiece féin bunaithe ar chor ar bith ar néaróg. Tá an ríomh dóchúlachta bunaithe ar staitisticí minicíochta unigram simplí, ní ar aon léiriú néarach foghlamtha. Níl sa 'mhúnla teanga' i WordPiece ach tábla minicíochta, ní claochladán ná líonra athfhillteach.
Ní féidir le BPE déileáil le teangacha a bhfuil tacair mhóra carachtar acu cosúil leis an tSínis.
Tugann BPE ar leibhéal na mbeart aghaidh go sonrach ar seo trí oibriú ar bhearta UTF-8 amha seachas ar charachtair. Ciallaíonn sé seo gur féidir leis aon téacs Unicode a léiriú gan teacht ar charachtar anaithnid riamh, cé go mb’fhéidir go mbeadh níos mó comharthaí ag teastáil chun é sin a dhéanamh i gcás scripteanna ina bhfuil na mílte carachtar.
Bíonn tionchar suntasach ag an rogha comharthaí ar fheidhmíocht an mhúnla ar thascanna iartheachtacha.
Cé go bhfuil tábhacht le comharthaíocht, is gnách go mbíonn tábhacht níos lú ag baint le hailtireacht an mhúnla agus le scála sonraí oiliúna ná le rogha an chomharthaí. Léirigh staidéir go bhfeidhmíonn BPE agus WordPiece go comparáideach nuair a bhíonn na fachtóirí eile go léir cothrom, agus is gnách go mbíonn na difríochtaí beag agus ag brath ar an tasc.
Cruthaíodh WordPiece go sonrach do BERT.
Tá WordPiece roinnt blianta níos sine ná BERT. D'fhorbair Google é ar dtús le haghaidh cuardaigh gutha Seapáinise agus Cóiré go luath sna 2010idí, agus ina dhiaidh sin rinne sé oiriúnú air le haghaidh aistriúcháin meaisín néarach sular tháinig sé chun solais i BERT riamh. Tá an bhaint le BERT láidir toisc gur chuir BERT clú agus cáil air i measc phobal taighde NLP.
Ní bhíonn tábhacht le méid stór focal BPE chomh fada agus atá sé mór go leor.
Bíonn tionchar suntasach ag méid an fhoclóra ar fheidhmíocht an mhúnla agus ar éifeachtúlacht ríomhaireachtúil araon. Má bhíonn sé róbheag, cuireann an tsamhail amú acmhainn ar sheichimh fhada comharthaí. Má bhíonn sé rómhór, bíonn maitrísí leabaithe neamhláimhsithe agus bíonn droch-ionadaíochtaí ag comharthaí neamhchoitianta. Déanann formhór na gcleachtóirí an hipearpharaiméadar seo a choigeartú go cúramach, ag socrú idir 30,000 agus 50,000 comhartha de ghnáth.
Roghnaigh BPE agus tú ag obair le samhlacha stíl GPT nó nuair is gá duit comharthaíocht shimplí, thapa a láimhseálann téacs éagsúil lena n-áirítear cód agus sonraí ilteangacha. Roghnaigh WordPiece agus tú ag tógáil ar ailtireachtaí bunaithe ar BERT nó nuair is mian leat teorainneacha comharthaí atá níos ailínithe le moirféimí teangeolaíocha. I gcás fhormhór na gcleachtóirí, is é an tsamhail réamh-oiliúna a roghnaíonn tú a dhéanann an cinneadh go héifeachtach.
Déantar comparáid anseo idir AI ar an ngléas agus AI sa scamall, agus béim á cur ar an gcaoi a ndéanann siad próiseáil ar shonraí, a dtionchar ar phríobháideachas, ar fheidhmíocht, ar inrochtaineacht, agus ar chásanna úsáide tipiciúla do idirghníomhaíochtaí i ndáiríre, do mhúnlaí móra-scála, agus do riachtanais ceangalacha i bhfeidhmchláir nua-aoiseacha.
Leagann an comparáid ailtireachta seo béim ar na príomhdhifríochtaí idir córais AI atá feasach ar chomhthéacs, a dhéanann anailís dhinimiciúil ar shonraí comhthéacsúla amhail intinn an úsáideora, stair agus timpeallacht, agus córais atá dall ar chomhthéacs, a phróiseálann ionchuir mar imeachtaí scoite bunaithe go hiomlán ar rialacha seasta, réamhshainithe.
Déanann an miondealú ailtireachta seo anailís ar na paraidímí ar leith de chórais intleachta saorga atá dírithe ar spriocanna agus atá dírithe ar ionchur. Cé go mbíonn ailtireachtaí atá dírithe ar ionchur thar barr i bpróiseáil imoibríoch agus in aithint patrún meandarach, bíonn na creatlacha cognaíocha chun cinn atá riachtanach le haghaidh réasúnaíocht ilchéime, pleanáil oiriúnaitheach, agus réiteach fadhbanna uathrialach ag córais atá dírithe ar spriocanna.
Sa mhiondealú mionsonraithe seo, déantar iniúchadh ar na difríochtaí bunúsacha idir Intleacht Shaorga Mhachnamhach agus Intleacht Shaorga Dhea-bhreithnithe, ag mapáil a n-ailtireacht le próiseáil chognaíoch Chóras 1 agus Chóras 2 an duine. Clúdaítear an chaoi a gcuireann na córais seo i bhfeidhm ar réiteach fadhbanna, ar inoiriúnaitheacht fíor-ama, agus ar éifeachtúlacht ríomhaireachtúil chun todhchaí na hintleachta saorga ilchisealaithe a shainiú.
Déanann córais dhíláraithe AI faisnéis, sonraí agus ríomhaireacht a dháileadh ar fud nóid neamhspleácha, agus is minic a thugann siad tús áite do oscailteacht agus do rialú úsáideoirí, agus déanann cuideachtaí córais chorparáideacha AI a bhainistiú go lárnach agus iad ag optamú feidhmíochta, brabúis agus comhtháthú táirgí. Múnlaíonn an dá chur chuige an chaoi a dtógtar, a rialaítear agus a rochtaintear AI, ach tá difríocht mhór eatarthu ó thaobh trédhearcachta, úinéireachta agus rialaithe de.
