Tógann réamhoiliúint eolas bunúsach samhail ó shraitheanna sonraí ollmhóra, agus scagann uasmhéadú iar-oiliúna an bonn sin le haghaidh tascanna sonracha agus ailíniú daonna. Tá an dá chéim riachtanach i bhforbairt nua-aimseartha na hintleachta saorga, ag freastal ar róil chomhlántacha seachas róil iomaíocha.
Suntasanna
Bunaíonn réamhoiliúint eolas bunúsach ag baint úsáide as trilliúin comharthaí de shonraí amha.
Déanann optamú iarchoiliúint samhlacha úsáideach, sábháilte agus sainiúil do thasc trí theicnící cosúil le RLHF agus DPO.
Cosnaíonn réamh-oiliúint orduithe méide níos mó ríomhaireachta ná iar-oiliúint.
Is san iar-oiliúint a tharlaíonn an chuid is mó den saincheapadh agus den ailíniú praiticiúil i bhforbairt nua-aimseartha na hintleachta saorga.
Cad é Réamh-oiliúint?
An chéim oiliúna tosaigh ina bhfoghlaimíonn samhail patrúin ghinearálta ó chainníochtaí ollmhóra téacs nó sonraí amha.
De ghnáth, ídíonn réamh-oiliúint trilliúin comharthaí de shonraí gan lipéad a scríobtar ón ngréasán, ó leabhair agus ó stórtha cóid.
Úsáideann sé cuspóirí foghlama féinmhaoirseachta cosúil le tuar an chéad chomhartha eile, áit a bhfoghlaimíonn an tsamhail trí bhuille faoi thuairim a thabhairt faoin gcéad fhocal eile i seicheamh.
Is í an chéim seo an chuid is costasaí ó thaobh ríomhaireachta de fhorbairt samhail, agus is minic a chosnaíonn sí na milliúin dollar in am GPU.
Thosaigh samhlacha cosúil le GPT-3, LLaMA, agus Claude le réamh-oiliúint fairsing ar na céadta billiún paraiméadar.
Gabhann an tsamhail bhunúsach mar thoradh air sin tuiscint leathan teanga ach tá easpa scileanna tasc-shonracha ná ailíniú sábháilteachta ann.
Cad é Uasmhéadú Iar-Oiliúna?
Teicnící a chuirtear i bhfeidhm tar éis réamhoiliúna chun samhail a speisialtóireacht, ailíniú a fheabhsú, agus feidhmíocht tascanna a threisiú.
Áirítear leis an iar-oiliúint mínchoigeartú maoirseachta (SFT), foghlaim athneartaithe ó aiseolas daonna (RLHF), agus uasmhéadú rogha dhíreach (DPO).
Rinneadh RLHF a chur chun cinn le OpenAI in InstructGPT agus níos déanaí i GPT-4 chun samhlacha a dhéanamh níos cabhraí agus níos sábháilte.
Tháinig DPO chun cinn mar rogha eile níos simplí seachas RLHF, rud a chuir deireadh leis an ngá atá le samhail luaíochta ar leith trí roghanna a bharrfheabhsú go díreach.
De ghnáth, bíonn i bhfad níos lú ríomhaireachta ag teastáil sa chéim seo ná mar a bhíonn ag teastáil ó réamh-oiliúint, agus is minic a úsáidtear na mílte sampla seachas na trilliúin.
Is féidir teicnící cosúil le hintleacht shaorga bunreachtúil, oiliúint úsáide uirlisí, agus mionchoigeartú dírithe ar réasúnaíocht a áireamh freisin i ndiaidh na hoiliúna.
Tábléad Comparáide
Gné
Réamh-oiliúint
Uasmhéadú Iar-Oiliúna
Céim sa Phíblíne
An chéad chéim de fhorbairt mhúnla
Leanann réamh-oiliúint
Príomhsprioc
Foghlaim eolas ginearálta agus patrúin
Speisialtóireacht agus ailíniú an tsamhail
Riachtanais Sonraí
Trilliún comharthaí, gan lipéad
Na mílte go dtí na milliúin samplaí lipéadaithe
Costas a Ríomh
Thar a bheith ard (na milliúin dollar)
Measartha (na mílte dollar)
Teicnící Coitianta
Foghlaim féinmhaoirseachta, samhaltú teanga masctha
SFT, RLHF, DPO, Intleacht Shaorga Bunreachtúil
Aschur
Múnla bonn le cumais leathana
Múnla ailínithe, réidh le haghaidh tascanna
Fad
Seachtainí go míonna ar bhraislí móra
Uaireanta go laethanta
In-aisiompaitheacht
Pointe tosaigh do gach obair ina dhiaidh sin
Is féidir é a athdhéanamh nó a choigeartú
Comparáid Mhionsonraithe
Cuspóir agus Ról sa Phíblíne AI
Feidhmíonn réamhoiliúint mar chéim tógála bunús ina nglacann samhail eolas ginearálta ó chainníochtaí ollmhóra sonraí amha. Gan é sin, ní bheadh aon tuiscint bhunúsach ag an tsamhail ar theanga, réasúnaíocht, ná fíricí an domhain. Tógann uasmhéadú iar-oiliúna an bunús sin agus cruthaíonn sé rud éigin úsáideach é, ag múineadh don tsamhail conas treoracha a leanúint, iarratais dhíobhálacha a dhiúltú, agus barr feabhais a bhaint amach i dtascanna sonracha. Smaoinigh ar réamhoiliúint mar oideachas ginearálta a thuilleamh agus ar iar-oiliúint mar an oiliúint poist speisialaithe a leanann.
Riachtanais Sonraí agus Ríomhaireachta
Tá an difríocht scála idir an dá chéim seo dochreidte. Éilíonn réamh-oiliúint tacair sonraí ollmhóra, trilliúin comharthaí go minic, agus ritheann sé ar na mílte GPU ar feadh seachtainí nó míonna. Oibríonn iar-oiliúint ar scála i bhfad níos lú, ag baint úsáide as tacair sonraí coimeádta de na mílte go dtí na milliúin samplaí de ghnáth. Fágann sé seo go bhfuil iar-oiliúint i bhfad níos inrochtana do fhoirne agus do thaighdeoirí níos lú ar mian leo samhlacha atá ann cheana a shaincheapadh gan iad a thógáil ón tús.
Teicnící agus Modhanna
Braitheann réamhoiliúint ar chuspóirí féinmhaoirseachta ina múineann an tsamhail í féin go bunúsach trí chomharthaí atá ar iarraidh nó ina dhiaidh sin a thuar i seichimh. Cuimsíonn uasmhéadú iar-oiliúna trealamh éagsúil lena n-áirítear mionchoigeartú maoirseachta ar phéirí treoracha-freagartha, RLHF a úsáideann rátálacha rogha daonna chun samhail luaíochta a oiliúint, agus modhanna níos nuaí cosúil le DPO a shimplíonn an próiseas ailínithe. Díríonn gach teicníc iar-oiliúna ar spriocanna éagsúla, ó chabhair bhunúsach go cumais réasúnaíochta casta.
Tionchar ar Iompar Múnla
Is uath-iomlánú sofaisticiúil é samhail réamh-oiliúna leis féin, is féidir léi téacs comhtháite a ghiniúint ach ní leanfaidh sí treoracha go hiontaofa ná ní iompróidh sí go sábháilte. Is é an t-iar-oiliúint a athraíonn samhail teanga amh ina cúntóir comhrá-róbait ar mhaith leat idirghníomhú leis i ndáiríre. Cinneann an obair ailínithe a dhéantar san iar-oiliúint an bhfuil an tsamhail cabhrach, neamhdhíobhálach, macánta, agus in ann comhrá casta a dhéanamh.
Solúbthacht agus Athrá
Tugann iar-oiliúint i bhfad níos mó solúbthachta mar is féidir í a athdhéanamh, a chomhcheangal agus a choigeartú gan tosú arís. Is féidir le foirne samhail a choigeartú go mín le haghaidh feidhmchlár leighis, agus ansin optamú breise a chur i bhfeidhm do riachtanais ospidéil ar leith. Cruthaíonn réamhoiliúint, nuair a bhíonn sí críochnaithe, bonn seasta a thógann gach duine air. Sin é an fáth gur dhírigh pobal na hintleachta saorga aird i dtreo taighde iar-oiliúna, is ann a tharlaíonn saincheapadh agus idirdhealú is tapúla.
Buntáistí & Mí-bhuntáistí
Réamh-oiliúint
Buntáistí
+Tógálann sé bonn eolais leathan
+Cumasaíonn sé foghlaim aistrithe
+Cruthaíonn sé bunús ilúsáideach
+Gabhálann eolas an domhain
Taispeáin
−Thar a bheith costasach
−Éilíonn tacair sonraí ollmhóra
−Amanna fada oiliúna
−Ní sainiúil don tasc
Uasmhéadú Iar-Oiliúna
Buntáistí
+Costas ríomhaireachta i bhfad níos ísle
+An-shaincheaptha
+Feabhsaíonn sé sábháilteacht agus ailíniú
+Timthriallta athrá níos tapúla
Taispeáin
−Teoranta ag cáilíocht an mhúnla bhunúsaigh
−Is féidir leis cumais ghinearálta a dhíghrádú
−Éilíonn sonraí lipéadaithe cáilíochta
−Riosca ró-fheistiúcháin
Coitianta Míthuiscintí
Miotas
Is leor réamhoiliúint amháin chun cúntóir úsáideach AI a dhéanamh.
Réaltacht
Is samhail réamh-oiliúna comhlánaitheoir téacs sofaisticiúil go bunúsach. Gan uasmhéadú iar-oiliúna, ní féidir léi treoracha a leanúint go hiontaofa, iarratais dhíobhálacha a dhiúltú, ná comhráite comhtháite a choinneáil. Éilíonn gach comhrábot táirgeachta obair shuntasach iar-oiliúna.
Miotas
Níl san uasmhéadú iar-oiliúna ach mínchoigeartú simplí.
Réaltacht
Cuimsíonn iar-oiliúint nua-aimseartha réimse sofaisticiúil teicnící lena n-áirítear RLHF, DPO, AI bunreachtúil, agus oiliúint dírithe ar réasúnaíocht. Baineann na modhanna seo le samhaltú casta luach saothair, foghlaim roghanna, agus mionchoigeartú athchleachtach a théann i bhfad níos faide ná mionchoigeartú maoirseachta bunúsach.
Miotas
Bíonn samhlacha níos fearr i gcónaí mar thoradh ar níos mó réamhoiliúna.
Réaltacht
Léirigh taighde go laghdaíonn na torthaí a bhaineann le sonraí réamh-oiliúna a scálú. Tá an réimse ag aithint níos mó gur féidir le feabhsuithe iarchoiliúint, go háirithe maidir le réasúnaíocht agus ailíniú, gnóthachain níos mó a thabhairt ná ríomhaireacht réamh-oiliúna bhreise.
Miotas
Is ionann RLHF agus DPO.
Réaltacht
Cé go bhfuil sé mar aidhm ag an dá cheann samhlacha a ailíniú le roghanna daonna, oibríonn siad ar bhealach difriúil. Traenálann RLHF samhail luach saothair ar leith a threoraíonn foghlaim athneartaithe, agus déanann DPO an polasaí a bharrfheabhsú go díreach ag baint úsáide as péirí roghanna gan gá le samhail luach saothair. Tá DPO níos simplí ach d'fhéadfadh tréithe feidhmíochta difriúla a bheith aige.
Miotas
Is féidir le hiar-oiliúint aon fhadhb le samhail bhunúsach a réiteach.
Réaltacht
Ní féidir le hiar-oiliúint cumais a chruthú nach bhfuil sa mhúnla bonn. Mura bhfuil eolas nó cumais réasúnaíochta áirithe i samhail réamh-oilte, ní chuirfidh aon mhéid mionchoigeartaithe leis iad. Cuireann an bunús a leagtar le linn na réamh-oiliúna srian ar a bhfuil indéanta níos déanaí.
Frequently Asked Questions
Cad é an difríocht idir réamhoiliúint agus mínchoigeartú?
Is é réamhoiliúint an oiliúint mhórscála tosaigh ar shraitheanna sonraí ollmhóra gan lipéad chun cumais ghinearálta a thógáil. Is cineál iar-oiliúna é an mínchoigeartú a chuireann samhail réamh-oilte in oiriúint do thascanna sonracha ag baint úsáide as sraitheanna sonraí níos lú, lipéadaithe. Is teicníc amháin laistigh den chatagóir níos leithne d'uasmhéadú iar-oiliúna é an mínchoigeartú.
Cén fáth go bhfuil uasmhéadú iar-oiliúna tábhachtach do shábháilteacht AI?
Is le linn na hoiliúna iarchéime a tharlaíonn ailíniú. Múineann teicnící cosúil le RLHF do shamhlacha diúltú d’iarratais dhíobhálacha, ábhar contúirteach a sheachaint, agus iompar ar bhealaí atá comhsheasmhach le luachanna daonna. Gan oiliúint iarchéime, is féidir le samhlacha réamh-oilte aschuir thocsaineacha, claonta nó contúirteacha a tháirgeadh in ainneoin a gcumas ginearálta.
Cé chomh fada a thógann réamh-oiliúint i gcomparáid le hiar-oiliúint?
De ghnáth, tógann réamh-oiliúint samhlacha móra seachtainí go míonna ar na mílte GPUanna. De ghnáth, críochnaítear uasmhéadú iar-oiliúna i gceann uaireanta go laethanta ar shocruithe ríomhaireachta i bhfad níos lú. Is féidir leis an gcóimheas ríomhaireachta a bheith 1000:1 nó níos mó, agus is é sin an fáth a ndíríonn formhór na n-eagraíochtaí ar iar-oiliúint seachas samhlacha a thógáil ón tús.
An féidir leat réamh-oiliúint a sheachaint agus dul díreach chuig an iar-oiliúint?
Sea, má tá tú ag úsáid samhail réamh-oilte atá ann cheana féin mar phointe tosaigh. Is é seo go díreach a dhéanann formhór na gcuideachtaí agus na dtaighdeoirí AI, glacann siad samhail foinse oscailte nó bunaithe ar API agus cuireann siad teicnící iar-oiliúna i bhfeidhm chun í a shaincheapadh. Ní oibríonn sé réamh-oiliúna a scipeáil ach amháin má tá samhail bhunúsach oiriúnach ann cheana féin.
Cad is DPO ann agus conas a dhéantar comparáid idir é agus RLHF?
Is modh iar-oiliúna é Uasmhéadú Díreach Rogha (UDP) a shimplíonn ailíniú tríd an tsamhail a bharrfheabhsú go díreach ar phéirí rogha gan samhail luach saothair ar leith a oiliúint. Éilíonn RLHF trí chéim lena n-áirítear oiliúint samhail luach saothair, agus comhcheanglaíonn UDP gach rud i bpróiseas amháin níos simplí. Tá UDP níos tapúla agus níos cobhsaí ach féadfaidh sé torthaí beagán difriúla a thabhairt.
Cé mhéad sonraí a theastaíonn uait le haghaidh uasmhéadú iar-oiliúna?
Athraíonn na ceanglais de réir na teicníce. D’fhéadfadh go mbeadh na mílte go dtí na deicheanna mílte sampla ag teastáil le haghaidh mionchoigeartú maoirseachta. De ghnáth úsáideann RLHF breis is 100,000 comparáid roghanna. Is féidir le DPO oibriú le méideanna comhchosúla le RLHF. Tá sé seo i bhfad níos lú ná na trilliúin comharthaí a úsáidtear i réamh-oiliúint.
An ndéanann iar-oiliúna dochar do chumais mhúnla?
Is féidir le hiar-oiliúint feidhmíocht a laghdú uaireanta ar thagarmharcanna áirithe, feiniméan ar a dtugtar cáin ailínithe. Mar sin féin, tá teicnící nua-aimseartha tar éis an fhadhb seo a mhaolú den chuid is mó. Feabhsaíonn iar-oiliúint dea-dheartha cabhair agus sábháilteacht agus ag an am céanna caomhnú formhór chumais ghinearálta an mhúnla bhunúsaigh.
Cé na cuideachtaí a dhíríonn ar réamh-oiliúint i gcomparáid le hiar-oiliúint?
Infheistíonn cuideachtaí ar nós OpenAI, Anthropic, Google DeepMind, agus Meta go mór i réamh-oiliúint a samhlacha ceannródaíocha. Díríonn formhór na n-eagraíochtaí agus na ngnólachtaí nuathionscanta AI eile ar iar-oiliúint, ar mhúnlú mín a dhéanamh ar shamhlacha atá ann cheana féin do thionscail shonracha, cásanna úsáide, nó feabhsuithe. Tá an éiceachóras scoilte idir thógálaithe samhlacha bunúsacha agus saincheapthóirí iartheachtacha.
Cad a tharlaíonn i ndiaidh na hoiliúna i bpíblíne forbartha na hintleachta saorga?
Tar éis iar-oiliúna, is gnách go ndéantar meastóireacht ar shamhlacha, go ndéantar iad a chur i bhfoirne dearga ar mhaithe le sábháilteacht, agus go ndéantar uasmhéadú ar imscaradh amhail cainníochtú nó driogadh. Is féidir le teicnící ama-inference amhail spreagadh slabhra smaointeoireachta, úsáid uirlisí, agus giniúint mhéadaithe aisghabhála feidhmíocht a fheabhsú tuilleadh gan oiliúint bhreise.
An bhfuil réamh-oiliúint ag éirí níos lú tábhachtach?
Tá réamhoiliúint fós riachtanach ach tá aird na hintleachta saorga dírithe ar iar-oiliúint agus ar ríomhaireacht infheire mar na chéad teorainneacha eile le haghaidh feabhsúcháin. Tá teicnící cosúil le réasúnaíocht shínte, scálú ríomhaireachta in am tástála, agus mionchoigeartú sofaisticiúil ag tabhairt gnóthachain shuntasacha, rud a thugann le fios go bhfuil todhchaí dul chun cinn na hintleachta saorga níos faide ná scálú réamhoiliúna amháin.
Breithiúnas
Ní cur chuige iomaíocha iad réamh-oiliúint agus iar-oiliúint ach céimeanna seicheamhacha a bhfuil an-tábhacht leo araon. Tá réamh-oiliúint riachtanach nuair atá tú ag tógáil samhail nua bunúis ón tús agus cumais leathana ag teastáil uait, agus is é an t-uasmhéadú iar-oiliúna an rogha phraiticiúil do fhormhór na bhfoirne ar mian leo samhlacha atá ann cheana a oiriúnú do chásanna úsáide sonracha. I gcás fhormhór na n-eagraíochtaí, cuireann iar-oiliúint an toradh is fearr ar infheistíocht ar fáil ós rud é go dtógann sé ar obair atá déanta cheana féin ag saotharlanna móra.