Byte Pair Encoding a WordPiece sú dva široko používané algoritmy tokenizácie podslov, ktoré poháňajú moderné modely NLP a líšia sa predovšetkým v spôsobe, akým zlučujú tokeny počas trénovania, a v ich metrikách hodnotenia.
Algoritmus tokenizácie podslov, ktorý iteratívne zlučuje najčastejšie sa vyskytujúce susedné páry znakov do nových tokenov.
Metóda tokenizácie podslov, ktorá zlučuje tokeny na základe maximalizácie pravdepodobnosti, a nie na základe surovej frekvencie.
| Funkcia | Kódovanie párov bajtov | Tokenizácia WordPiece |
|---|---|---|
| Kritérium zlúčenia | Frekvencia susedných párov | Pravdepodobnosť tréningových údajov |
| Primárne prípady použitia | Séria GPT, RoBERTa, CLIP | BERT, DistilBERT, ALBERT |
| Inicializácia slovnej zásoby | Jednotlivé znaky alebo bajty | Jednotlivé postavy |
| Zaobchádzanie so zriedkavými slovami | Rozdeľuje sa na časté podslovné jednotky | Rozdelenia na základe segmentácie založenej na pravdepodobnosti |
| Rýchlosť tréningu | Vo všeobecnosti rýchlejšie vďaka jednoduchému počítaniu | Mierne pomalšie kvôli výpočtu pravdepodobnosti |
| Štýl výstupu tokenu | Často podrobnejšie | Často konsolidovanejšie pre bežné slová |
| Pôvodný vývoj | 1994 ako kompresia; 2016 pre NLP | Tím pre rozpoznávanie reči Google |
BPE pristupuje k tokenizácii ako k problému kompresie, pričom nenápadne zlučuje akékoľvek páry, ktoré sa najčastejšie vyskytujú v trénovacom korpuse. Tento priamočiary prístup založený na frekvencii umožňuje intuitívne a relatívne rýchle výpočty. WordPiece zaujíma pravdepodobnostnejší uhol pohľadu a kladie si otázku, ktoré zlúčenie by urobilo trénovacie dáta najpravdepodobnejšími za predpokladu modelu jazyka unigram. Tento jemný posun v rámovaní vedie k rôznym hraniciam tokenov, najmä pre morfologicky bohaté jazyky.
Keďže BPE sa zameriava výlučne na frekvenciu, niekedy rozdeľuje slová na jazykovo neprirodzených miestach, ak sa jedná o bežné vzory v dátach. Prístup WordPiece založený na pravdepodobnosti má tendenciu lepšie rešpektovať hranice morfém a vytvárať tokeny, ktoré sa viac zhodujú so zmysluplnými jednotkami. V prípade angličtiny obe metódy fungujú podobne, ale rozdiel je výraznejší v jazykoch s bohatšou morfológiou, ako je nemčina alebo turečtina.
Výber medzi týmito tokenizátormi často závisí skôr od architektúry modelu, ktorú používate, než od hlbokej preferencie samotného algoritmu. Rodina GPT od OpenAI sa štandardizovala na BPE, takže každý, kto tieto modely dolaďuje alebo nasadzuje, zdedí túto schému tokenizácie. Ekosystém BERT od spoločnosti Google upevnil WordPiece ako de facto voľbu pre transformačné modely iba s kodérom. Toto zakorenenie ekosystému znamená, že odborníci z praxe zriedka menia tokenizátory nezávisle od architektúry modelu.
Oba algoritmy zápasia s určitými okrajovými prípadmi, ale rôznymi spôsobmi. BPE môže byť krehký s bielymi znakmi a interpunkciou, niekedy produkuje neočakávané tokeny pri zmene formátovania. WordPiece zvyčajne pridáva špeciálny symbol predpony (ako ## v BERT) na označenie pokračovacích podslov, čo robí rekonštrukciu pôvodného textu explicitnejšou, ale zároveň zavádza artefakty tokenizácie, ktoré sa musia naučiť spracovať následné modely.
posledných rokoch došlo k výraznému vývoju, ktorý prekračuje rámec oboch algoritmov. SentencePiece ponúka jednotný rámec, ktorý dokáže implementovať tokenizáciu jazykových modelov BPE, WordPiece alebo unigram pomocou jedinej knižnice. BPE na úrovni bajtov (používané v GPT-2) pracuje so surovými bajtami namiesto znakov Unicode, čím úplne eliminuje problémy s neznámymi tokenmi. Novšie prístupy, ako napríklad BPE-dropout, zároveň zavádzajú stochasticitu počas trénovania na zlepšenie robustnosti. Tento vývoj ukazuje, že hoci BPE a WordPiece zostávajú základom, táto oblasť sa neustále rozvíja.
BPE a WordPiece vždy vytvárajú rôzne tokenizácie pre ten istý text.
Pre mnohé bežné anglické slová oba algoritmy v skutočnosti konvergujú na identických alebo takmer identických segmentáciách. Rozdiely sú zreteľnejšie pri zriedkavých slovách, morfologicky zložitých termínoch a v jazykoch s bohatšími inflexnými vzormi ako angličtina.
WordPiece používa počas tokenizácie neurónovú sieť.
Napriek tomu, že sa používa v neurónových modeloch, samotný WordPiece je úplne neneurálny. Výpočet pravdepodobnosti je založený na jednoduchých štatistikách frekvencií unigramov, nie na žiadnej naučenej neurónovej reprezentácii. „Jazykový model“ vo WordPiece je iba frekvenčná tabuľka, nie transformátor ani rekurentná sieť.
BPE nedokáže spracovať jazyky s rozsiahlymi znakovými sadami, ako je čínština.
BPE na úrovni bajtov to rieši tým, že pracuje so surovými bajtami UTF-8 namiesto znakov. To znamená, že dokáže reprezentovať akýkoľvek text Unicode bez toho, aby narazil na neznámy znak, hoci pre skripty s tisíckami znakov môže vyžadovať viac tokenov.
Výber tokenizátora významne ovplyvňuje výkon modelu pri následných úlohách.
Hoci je tokenizácia dôležitá, architektúra modelu a škálovateľnosť trénovacích dát zvyčajne prevyšujú dôležitosť výberu tokenizátora. Štúdie ukázali, že BPE a WordPiece fungujú porovnateľne, keď sú všetky ostatné faktory rovnaké, pričom rozdiely sú zvyčajne malé a závisia od úlohy.
WordPiece bol vynájdený špeciálne pre BERT.
WordPiece predchádza BERT o niekoľko rokov. Spoločnosť Google ho pôvodne vyvinula pre japonské a kórejské hlasové vyhľadávanie začiatkom roku 2010 a neskôr ho upravil pre neurónový strojový preklad, ešte predtým, ako sa vôbec objavil v BERT. Spojenie s BERT je silné jednoducho preto, že BERT ho preslávil vo výskumnej komunite NLP.
Veľkosť slovnej zásoby BPE nezáleží, pokiaľ je dostatočne veľká.
Veľkosť slovnej zásoby významne ovplyvňuje výkon modelu aj výpočtovú efektivitu. Príliš malá veľkosť spôsobuje plytvanie kapacitou modelu na dlhé sekvencie tokenov. Príliš veľká veľkosť spôsobuje, že vkladacie matice sa stávajú nepraktickými, zatiaľ čo vzácne tokeny dostávajú zlú reprezentáciu. Väčšina odborníkov na túto problematiku starostlivo ladí tento hyperparameter, pričom sa zvyčajne ustáli na hodnote medzi 30 000 a 50 000 tokenmi.
Zvoľte BPE, ak pracujete s modelmi v štýle GPT alebo ak potrebujete jednoduchú a rýchlu tokenizáciu, ktorá spracováva rôznorodý text vrátane kódu a viacjazyčných údajov. Zvoľte WordPiece, ak staviate na architektúry založené na BERT alebo ak chcete hranice tokenov, ktoré sa viac zhodujú s jazykovými morfémami. Pre väčšinu odborníkov je rozhodnutie v podstate urobené na základe vopred natrénovaného modelu, ktorý si vyberiete.
A/B testovanie v modelových službách smeruje prevádzku medzi konkurenčnými verziami modelov na meranie reálneho výkonu, zatiaľ čo nasadenie jedného modelu poskytuje jeden model všetkým používateľom. Tímy si medzi nimi vyberajú na základe tolerancie rizika, objemu prevádzky a potreby štatistického overenia pred úplným nasadením.
A/B testovanie pri vydávaní obsahu zahŕňa zavádzanie variácií pre rôzne segmenty publika a meranie výkonnosti, zatiaľ čo jednorazové vydania obsahu ponúkajú jednu verziu všetkým naraz. Každý prístup vyhovuje iným cieľom, pričom A/B testovanie uprednostňuje optimalizáciu na základe dát a jednorazové vydania uprednostňujú rýchlosť a jednoduchosť.
Toto porovnanie analyzuje strategické voľby v strojovom učení medzi adaptáciou domény, ktorá prenáša znalosti z označeného zdrojového prostredia do iného cieľového prostredia, a školením v rámci domény, ktoré vytvára modely výlučne na základe údajov získaných z presného cieľového nastavenia nasadenia.
Toto podrobné porovnanie skúma architektonické rozdiely, prevádzkové limity a reálny výkon adaptívnych inteligenčných systémov v porovnaní so systémami automatizácie s pevným správaním. Pozrieme sa na to, ako systémy, ktoré sa neustále učia z nových environmentálnych údajov, fungujú v porovnaní s rigidnými, predvídateľnými rámcami založenými na pravidlách.
Adaptívne vyhľadávanie dynamicky upravuje spôsob a aké informácie systém načítava na základe dotazu, zatiaľ čo statické vyhľadávacie kanály sa riadia pevnými pravidlami bez ohľadu na kontext. Obe poháňajú moderné aplikácie umelej inteligencie, ale výrazne sa líšia vo flexibilite, nákladoch a presnosti. Výber medzi nimi závisí od zložitosti pracovnej záťaže a rozpočtu.
