Foghlaimíonn samhlacha ailínithe íomhá-téacs cosúil le CLIP agus ALIGN ionadaíochtaí comhpháirteacha amhairc-teanga trí oiliúint a dhéanamh ar shraitheanna sonraí péireáilte ollmhóra, rud a chuireann ar chumas aistriú nialasach. Próiseálann samhlacha modúlachta neamhspleácha íomhánna agus téacs ar leithligh, agus is minic a bhíonn siad ag sárú i dtascanna speisialaithe aonmhodúlachta gan bhunús trasmhódúil.
Líonraí néaracha arna n-oiliúint ar shonraí péireáilte íomhá-fotheideal chun ionadaíochtaí amhairc agus téacsúla comhroinnte a fhoghlaim i spás leabaithe coiteann.
Córais AI atá deartha chun íomhánna nó téacs a láimhseáil ina n-aonar, gan ionadaíocht trasmhódúil chomhroinnte eatarthu a fhoghlaim.
| Gné | Samhlacha Ailínithe Íomhá-Téacs | Samhlacha Modúlachta Neamhspleácha |
|---|---|---|
| Príomhchuspóir Oiliúna | Meaitseáil íomhá-téacs codarsnach | Caillteanas tascanna aonmhódúlachta (aicmiú, samhaltú teanga) |
| Riachtanais Sonraí Oiliúna | Na céadta milliún go billiúin samplaí péireáilte íomhá-téacs | Sonraí mórscála gan lipéad nó lipéadaithe laistigh d'aon mhodúlacht amháin |
| Cumais Lámhaigh Nialas | Aistriú láidir nialasach chuig catagóirí nach bhfeictear trí leideanna téacs | Teoranta do chatagóirí nó tascanna a chonacthas le linn oiliúna |
| Cur Chuige Ailtireachta | Dé-ionchódóirí ag teilgean isteach i spás leabaithe comhroinnte | Ionchódóir aonair speisialaithe do chineál ionchuir amháin |
| Tuiscint Tras-Mhódúil | Réasúnaíocht chomhpháirteach dhúchasach trasna fís agus teanga | Éilíonn comhleá seachtrach nó píblíne chun modúlachtaí a nascadh |
| Costas Ríomhaireachtúil | Ard, mar gheall ar shraitheanna sonraí péireáilte ollmhóra agus méideanna baisce móra | Go ginearálta níos ísle, go háirithe le haghaidh mionchoigeartú aonmhódach |
| Cásanna Úsáide is Fearr | Aisghabháil íomhá, aicmiú nialasach, cuardach amhairc | Tascanna fís speisialaithe nó giniúint agus réasúnaíocht téacs íon |
| Samhlacha Samplacha | GEARRTHÁN, AILÍNÍN, SigLIP, Flórans, BLIP | ResNet, ViT, GPT-4, LLaMA, BERT |
Tá samhlacha ailínithe íomhá-téacs bunaithe ar an smaoineamh go roinneann coincheapa amhairc agus a gcuid tuairiscí teangeolaíocha struchtúr séimeantach bunúsach. Trí oiliúint a dhéanamh ar na céadta milliún péirí íomhá-fotheideal, foghlaimíonn siad conas an dá ionchur a mhapáil i spás leabaithe comhroinnte ina mbailíonn míreanna a bhfuil baint acu le séimeantacht le chéile. Glacann samhlacha modúlachta neamhspleácha an bealach os coinne, ag díriú a gcumas go léir ar mháistir a dhéanamh ar chineál amháin ionchuir. Foghlaimíonn samhail fís-amháin cosúil le líonra néarónach comhshuiteach gnéithe amhairc ordlathacha, agus foghlaimíonn samhail teanga patrúin staitistiúla téacs daonna. Ní dhéanann ceachtar acu iarracht an modúlacht eile a thuiscint le linn na hoiliúna.
Is i nginearálú nialas-urchar a bhíonn samhlacha ailínithe i ndáiríre i ndáiríre. Ós rud é go ndéanann siad íomhánna agus téacs a ionchódú isteach sa spás céanna, is féidir leat íomhá a aicmiú trí lipéad téacs cosúil le 'grianghraf de mhadra órga' a sholáthar agus cosúlacht a thomhas, fiú mura bhfaca an tsamhail an rang cruinn sin le linn na hoiliúna. Ní féidir le samhlacha modúlachta neamhspleácha é seo a dhéanamh go nádúrtha. Níl ach a mhíle rang oiliúna ar eolas ag ResNet atá oilte ar ImageNet, agus níl aon rud ar eolas ag samhail teanga faoi phicteilíní. Chun iad a leathnú chuig tascanna nua, de ghnáth bíonn sonraí lipéadaithe breise agus mionchoigeartú de dhíth ort.
Is minic a bhíonn bua ag samhlacha modúlachta neamhspleácha ar thagarmharcanna laistigh dá réimse dúchais. Is féidir le samhail bhrath réad tiomnaithe cosúil le DETR nó líonra deighilte cosúil le SAM samhail ailínithe ginearálaithe a shárú ar thascanna réamhaisnéise dlútha toisc go bhfuil siad optamaithe go sonrach le haghaidh tuiscint spásúil. Ar an gcaoi chéanna, tá samhlacha teanga móra fós i réasúnaíocht téacs íon, códú agus giniúint foirmeacha fada. Déanann samhlacha ailínithe cuid den fheidhmíocht bhuaic-mhodúlachta aonair sin a thrádáil ar mhaithe leis an gcumas tuiscint amhairc agus teanga a dhroicheadú i gcóras aontaithe amháin.
Tá costas ard ar mhúnla ailínithe a oiliúint ón tús. Thóg rith oiliúna bunaidh CLIP ríomhaireacht ollmhór thar seachtainí, agus ní dhéanann scálú go billiúin péirí ach an costas sin a mhéadú. Is féidir samhlacha modúlachta neamhspleácha a oiliúint níos saoire, go háirithe agus cnámha droma réamh-oilte á n-úsáid. Mar sin féin, nuair a bhíonn siad oilte, bíonn samhlacha ailínithe thar a bheith éifeachtach maidir le hinference le haghaidh aisghabhála agus aicmithe, ós rud é go dtáirgeann pas ar aghaidh aonair trí gach ionchódóir leabaithe in-athúsáidte. Is minic a bhíonn cinn tasc-shonracha nó mionchoigeartú ag teastáil ó mhúnlaí neamhspleácha do gach feidhmchlár nua.
Cuireann samhlacha ailínithe cumhacht ar fáil d’éiceachóras atá ag fás d’fheidhmchláir, lena n-áirítear innill chuardaigh íomhánna, córais mhodhnóireachta ábhair a mheaitseálann amharcléirithe le tuairiscí téacs, agus na hionchódóirí amhairc atá taobh thiar de chomhrábot ilmhódacha nua-aimseartha. Is iad samhlacha módúlachta neamhspleácha fós capaill oibre phíblínte AI táirgthe, ag láimhseáil OCR, aitheantas aghaidhe, tuiscint doiciméad, agus giniúint téacs ar scála mór. Tá an dá chur chuige ag teacht le chéile níos mó agus níos mó: úsáideann córais cosúil le GPT-4V agus Gemini comhpháirteanna fís agus teanga neamhspleácha go hinmheánach ach ailíníonn siad iad trí oiliúint chomhpháirteach, rud a dhéanann an líne idir na paraidímí seo doiléir.
Is féidir le samhlacha ailínithe íomhánna a thuiscint ar an mbealach céanna a dhéanann daoine.
Foghlaimíonn na samhlacha seo naisc staitistiúla idir gnéithe amhairc agus téacs, ní tuiscint amhairc bhunúsach. Is féidir leo íomhánna a mheaitseáil le tuairiscí ach níl fíorthuiscint acu ar rudaí, cúisíocht, nó réasúnaíocht fhisiceach a fhorbraíonn daoine trí thaithí choirp.
Tá samhlacha modúlachta neamhspleácha as dáta i ré na hintleachta saorga ilmhódaí.
bhfad ó bheith as dáta, is iad samhlacha neamhspleácha cnámh droma fhormhór na gcóras táirgthe AI. Is minic a sháraíonn siad samhlacha ilmhódacha ar thascanna speisialaithe agus feidhmíonn siad mar chomhpháirteanna laistigh d'ailtireachtaí ilmhódacha níos mó.
Is féidir le CLIP agus samhlacha comhchosúla aicmitheoirí íomhá tiomnaithe a athsholáthar go hiomlán.
Cé go dtugann samhlacha ailínithe solúbthacht shuntasach nialas-urchar, buaileann aicmitheoirí speisialaithe mínchoigeartaithe iad fós ar go leor tagarmharcanna, go háirithe catagóirí mínmhionsonraithe, íomháú leighis, nó réimsí a bhfuil idirdhealaithe amhairc caolchúiseacha iontu.
Ní theastaíonn mórán sonraí lipéadaithe ó mhúnlaí ailínithe mar go bhfoghlaimíonn siad ó fhotheidil.
Teastaíonn méideanna ollmhóra sonraí atá péireáilte go lag uathu, rud atá ina chineál difriúil maoirseachta. Is dúshlán mór innealtóireachta agus eiticiúil é na céadta milliún péirí íomhá-téacs glana a choimeád.
Is fearr i gcónaí samhlacha ailínithe níos mó.
Cuidíonn scálú go pointe áirithe, ach laghdaíonn na torthaí, agus léirigh samhlacha níos lú cosúil le SigLIP gur féidir le cleasanna oiliúna agus cáilíocht sonraí scála brúidiúil a mheaitseáil nó a shárú ar chostas níos ísle.
Roghnaigh samhlacha ailínithe íomhá-téacs nuair a bhíonn idirghníomhaíocht sholúbtha, pras-tiomáinte idir fís agus teanga ag teastáil ó d’fheidhmchlár, amhail aicmiú nialas-urchar, aisghabháil íomhá, nó cúntóirí ilmhódacha a thógáil. Roghnaigh samhlacha modúlachta neamhspleácha nuair is gá duit feidhmíocht bhuaic a bhaint amach ar thasc aonmhódúlachta atá sainithe go maith, nuair a bhíonn sonraí oiliúna péireáilte teoranta agat, nó nuair is mian leat córais speisialaithe éadroma a imscaradh gan forchostais oiliúna trasmhódúla.
Déantar comparáid anseo idir AI ar an ngléas agus AI sa scamall, agus béim á cur ar an gcaoi a ndéanann siad próiseáil ar shonraí, a dtionchar ar phríobháideachas, ar fheidhmíocht, ar inrochtaineacht, agus ar chásanna úsáide tipiciúla do idirghníomhaíochtaí i ndáiríre, do mhúnlaí móra-scála, agus do riachtanais ceangalacha i bhfeidhmchláir nua-aoiseacha.
Leagann an comparáid ailtireachta seo béim ar na príomhdhifríochtaí idir córais AI atá feasach ar chomhthéacs, a dhéanann anailís dhinimiciúil ar shonraí comhthéacsúla amhail intinn an úsáideora, stair agus timpeallacht, agus córais atá dall ar chomhthéacs, a phróiseálann ionchuir mar imeachtaí scoite bunaithe go hiomlán ar rialacha seasta, réamhshainithe.
Déanann an miondealú ailtireachta seo anailís ar na paraidímí ar leith de chórais intleachta saorga atá dírithe ar spriocanna agus atá dírithe ar ionchur. Cé go mbíonn ailtireachtaí atá dírithe ar ionchur thar barr i bpróiseáil imoibríoch agus in aithint patrún meandarach, bíonn na creatlacha cognaíocha chun cinn atá riachtanach le haghaidh réasúnaíocht ilchéime, pleanáil oiriúnaitheach, agus réiteach fadhbanna uathrialach ag córais atá dírithe ar spriocanna.
Sa mhiondealú mionsonraithe seo, déantar iniúchadh ar na difríochtaí bunúsacha idir Intleacht Shaorga Mhachnamhach agus Intleacht Shaorga Dhea-bhreithnithe, ag mapáil a n-ailtireacht le próiseáil chognaíoch Chóras 1 agus Chóras 2 an duine. Clúdaítear an chaoi a gcuireann na córais seo i bhfeidhm ar réiteach fadhbanna, ar inoiriúnaitheacht fíor-ama, agus ar éifeachtúlacht ríomhaireachtúil chun todhchaí na hintleachta saorga ilchisealaithe a shainiú.
Déanann córais dhíláraithe AI faisnéis, sonraí agus ríomhaireacht a dháileadh ar fud nóid neamhspleácha, agus is minic a thugann siad tús áite do oscailteacht agus do rialú úsáideoirí, agus déanann cuideachtaí córais chorparáideacha AI a bhainistiú go lárnach agus iad ag optamú feidhmíochta, brabúis agus comhtháthú táirgí. Múnlaíonn an dá chur chuige an chaoi a dtógtar, a rialaítear agus a rochtaintear AI, ach tá difríocht mhór eatarthu ó thaobh trédhearcachta, úinéireachta agus rialaithe de.
