Bajta Para Kodigo kaj Vortpeco estas du vaste uzataj subvortaj ĵetonigigalgoritmoj, kiuj funkciigas modernajn NLP-modelojn, malsamante ĉefe en kiel ili kunfandas ĵetonojn dum trejnado kaj siaj poentadmetrikoj.
Subvorta ĵetonig algoritmo kiu iteracie kunfandas la plej oftajn apudajn signoparojn en novajn ĵetonojn.
Subvorta ĵetonigmetodo kiu kunfandas ĵetonojn bazitajn sur verŝajnecmaksimumigo anstataŭ kruda frekvenco.
| Funkcio | Bajta Paro-Kodigado | Vortpeca Ĵetonigo |
|---|---|---|
| Kunfanda Kriterio | Frekvenco de apudaj paroj | Verŝajneco de trejnaj datumoj |
| Primaraj Uzokazoj | GPT-serio, RoBERTa, CLIP | BERT, DistilBERT, ALBERT |
| Inicialigo de Vortprovizo | Individuaj signoj aŭ bajtoj | Individuaj roluloj |
| Pritraktado de Maloftaj Vortoj | Dividas en oftajn subvortajn unuojn | Disigoj bazitaj sur verŝajnec-bazita segmentado |
| Trejna Rapido | Ĝenerale pli rapida pro simpla nombrado | Iomete pli malrapida pro verŝajneckalkulo |
| Ĵetona Eliga Stilo | Ofte pli granula | Ofte pli firmigita por oftaj vortoj |
| Origina Disvolviĝo | 1994 kiel kunpremo; 2016 por NLP | Teamo de Google Parolrekono |
BPE aliras tokenigon kiel kunpreman problemon, avide kunfandante kiajn ajn parojn aperantajn plej ofte en la trejna korpuso. Ĉi tiu simpla frekvenc-bazita aliro igas ĝin intuicia kaj relative rapida por kalkuli. WordPiece prenas pli probablan perspektivon, demandante kiu kunfandado igus la trejnajn datumojn plej verŝajnaj sub la supozo de unigrama lingvomodelo. Ĉi tiu subtila ŝanĝo en kadrigo kondukas al malsamaj tokenlimoj, precipe por morfologie riĉaj lingvoj.
Ĉar BPE nur ĉasas frekvencon, ĝi foje dividas vortojn je lingve nenaturaj punktoj se tiuj estas oftaj ŝablonoj en la datumoj. La verŝajnec-bazita aliro de WordPiece emas pli bone respekti morfemajn limojn, produktante ĵetonojn kiuj pli proksime akordiĝas kun senchavaj unuoj. Por la angla, ambaŭ metodoj funkcias simile, sed la diferenco fariĝas pli okulfrapa en lingvoj kun pli riĉa morfologio kiel la germana aŭ la turka.
La elekto inter ĉi tiuj tokeniziloj ofte dependas de la uzata modelarkitekturo, anstataŭ de profunda prefero por la algoritmo mem. La GPT-familio de OpenAI normigis BPE, do ĉiu, kiu fajnagordas aŭ deplojas ĉi tiujn modelojn, heredas tiun tokenigan skemon. La BERT-ekosistemo de Google cementis WordPiece kiel la faktan elekton por nur-kodigaj transformilmodeloj. Ĉi tiu enradikiĝo en la ekosistemo signifas, ke praktikistoj malofte ŝanĝas tokenizilojn sendepende de la modelarkitekturoj.
Ambaŭ algoritmoj luktas kun certaj randaj kazoj, sed laŭ malsamaj manieroj. BPE povas esti rompiĝema kun spacetoj kaj interpunkcio, foje produktante neatenditajn signojn kiam formatado varias. WordPiece tipe aldonas specialan prefiksan simbolon (kiel ## en BERT) por indiki daŭrigajn subvortojn, kio faras la rekonstruon de la originala teksto pli eksplicita sed ankaŭ enkondukas signo-artifikojn, kiujn laŭfluaj modeloj devas lerni pritrakti.
Lastatempaj jaroj vidis signifan evoluon preter ambaŭ algoritmoj. SentencePiece ofertas unuigitan kadron, kiu povas efektivigi BPE, WordPiece, aŭ unigramajn lingvajn modelajn tokenigojn per ununura biblioteko. Bajtnivela BPE (uzata en GPT-2) funkcias per krudaj bajtoj anstataŭ Unikodaj signoj, tute eliminante problemojn pri nekonataj tokenoj. Dume, pli novaj aliroj kiel BPE-forlaso enkondukas stokastiecon dum trejnado por plibonigi fortikecon. Ĉi tiuj evoluoj montras, ke dum BPE kaj WordPiece restas fundamentaj, la kampo daŭre progresas.
BPE kaj WordPiece ĉiam produktas malsamajn tokenigojn por la sama teksto.
Por multaj komunaj anglaj vortoj, ambaŭ algoritmoj fakte konverĝas al identaj aŭ preskaŭ identaj segmentadoj. La diferencoj fariĝas pli evidentaj ĉe maloftaj vortoj, morfologie kompleksaj terminoj, kaj en lingvoj kun pli riĉaj fleksiaj ŝablonoj ol la angla.
WordPiece uzas neŭronan reton dum ĵetonigo.
Malgraŭ ĝia uzo en neŭralaj modeloj, WordPiece mem estas tute ne-neŭrala. La verŝajneckalkulo baziĝas sur simplaj unigramaj frekvencaj statistikoj, ne sur iu ajn lernita neŭrala reprezentado. La "lingva modelo" en WordPiece estas nur frekvenca tabelo, ne transformilo aŭ ripetiĝanta reto.
BPE ne povas pritrakti lingvojn kun grandaj karaktraroj kiel la ĉina.
Bajtnivela BPE specife traktas ĉi tion per funkciado sur krudaj UTF-8 bajtoj anstataŭ signoj. Tio signifas, ke ĝi povas reprezenti ajnan Unikodan tekston sen iam renkonti nekonatan signon, kvankam ĝi povas postuli pli da ĵetonoj por fari tion por skriptoj kun miloj da signoj.
La elekto de ĵetonizilo signife influas la modelan rendimenton en postaj taskoj.
Kvankam tokenigo gravas, la modelarkitekturo kaj la skalo de trejnaj datumoj tipe superas la elekton de tokeniziloj laŭ graveco. Studoj montris, ke BPE kaj WordPiece funkcias kompareble kiam ĉiuj aliaj faktoroj estas egalaj, kun diferencoj kutime malgrandaj kaj taskdependaj.
WordPiece estis inventita specife por BERT.
WordPiece datas de antaŭ BERT je pluraj jaroj. Google evoluigis ĝin komence por japana kaj korea voĉserĉado en la fruaj 2010-aj jaroj, poste adaptis ĝin por neŭrala maŝintradukado antaŭ ol ĝi iam ajn aperis en BERT. La asocio kun BERT estas forta simple ĉar BERT famigis ĝin en la esplora komunumo pri NLP.
La grandeco de BPE-vortprovizo ne gravas, kondiĉe ke ĝi estas sufiĉe granda.
Vortproviza grandeco signife influas kaj la modelan rendimenton kaj la komputilan efikecon. Tro malgranda, kaj la modelo malŝparas kapaciton por longaj ĵetonsekvencoj. Tro granda, kaj enkorpigaj matricoj fariĝas maloportunaj, dum maloftaj ĵetonoj ricevas malbonajn reprezentojn. Plej multaj praktikistoj zorge agordas ĉi tiun hiperparametron, tipe fiksante inter 30 000 kaj 50 000 ĵetonoj.
Elektu BPE kiam vi laboras kun GPT-stilaj modeloj aŭ kiam vi bezonas simplan, rapidan tokenigon, kiu pritraktas diversan tekston, inkluzive de kodo kaj plurlingvaj datumoj. Elektu WordPiece kiam vi konstruas sur BERT-bazitaj arkitekturoj aŭ kiam vi volas tokenlimojn, kiuj pli proksime kongruas kun lingvaj morfemoj. Por plej multaj praktikistoj, la decido estas efike farita de la antaŭtrejnita modelo, kiun vi elektas.
A/B-testado en enhaveldonoj implikas lanĉi variaĵojn al malsamaj aŭdantarsegmentoj kaj mezuri rendimenton, dum unufojaj enhaveldonoj puŝas ununuran version al ĉiuj samtempe. Ĉiu aliro taŭgas por malsamaj celoj, kie A/B-testado favoras daten-bazitan optimumigon kaj unufojaj eldonoj prioritatas rapidecon kaj simplecon.
A/B-testado en modelservado direktas trafikon inter konkurantaj modelversioj por mezuri realmondan rendimenton, dum unu-modela deplojo liveras unu modelon al ĉiuj uzantoj. Teamoj elektas inter ili surbaze de riskotoleremo, trafikvolumo kaj la bezono de statistika validigo antaŭ plena lanĉo.
Ĉi tiu detala komparo esploras la arkitekturajn distingojn, funkciajn limojn kaj realmondan rendimenton de adaptiĝemaj inteligentaj motoroj kontraŭ fiks-kondutaj aŭtomatigaj sistemoj. Ni rigardas kiel sistemoj, kiuj kontinue lernas de novaj mediaj datumoj, kongruas kun rigidaj, antaŭvideblaj regul-bazitaj kadroj.
Adaptiĝema retrovo dinamike ĝustigas kiel kaj kiajn informojn sistemo prenas surbaze de la serĉmendo, dum statikaj retrovaj duktoj sekvas fiksajn regulojn sendepende de kunteksto. Ambaŭ funkciigas modernajn AI-aplikaĵojn, sed ili akre diferencas laŭ fleksebleco, kosto kaj precizeco. Elektado inter ili dependas de la komplekseco de laborkvanto kaj buĝeto.
Administrado de Modela Vivciklo kovras la plenan vojaĝon de AI-modelo de trejnado ĝis emeritiĝo, dum Unufoja Modela Deplojo fokusiĝas nur al lanĉo de preta modelo en produktadon. Elektado inter ili dependas de ĉu via projekto bezonas daŭran prizorgadon aŭ nur unuopan eldonon.
