bájtpár-kódolás és a WordPiece két széles körben használt alszó-tokenizációs algoritmus, amelyek a modern nyelvi nyelvi feldolgozási (NLP) modelleket működtetik, és elsősorban abban különböznek egymástól, hogy hogyan egyesítik a tokeneket a betanítás során, valamint a pontozási metrikáikban.
Egy alszó-tokenizációs algoritmus, amely iteratívan egyesíti a leggyakoribb szomszédos karakterpárokat új tokenekké.
Egy alszó-tokenizációs módszer, amely a tokeneket a nyers gyakoriság helyett a valószínűségi maximalizálás alapján egyesíti.
| Funkció | Bájtpár-kódolás | WordPiece tokenizáció |
|---|---|---|
| Egyesítési kritérium | Szomszédos párok gyakorisága | A betanítási adatok valószínűsége |
| Elsődleges felhasználási esetek | GPT sorozat, RoBERTa, CLIP | BERT, DistilBERT, ALBERT |
| Szókincs inicializálása | Egyedi karakterek vagy bájtok | Egyéni karakterek |
| Ritka szavak kezelése | Gyakori alszóegységekre oszlik | Valószínűségalapú szegmentáláson alapuló felosztások |
| Edzési sebesség | Általában gyorsabb az egyszerű számolásnak köszönhetően | Kissé lassabb a valószínűségszámítás miatt |
| Token kimeneti stílus | Gyakran részletesebb | Gyakran összevontabb a gyakori szavak esetében |
| Eredeti fejlesztés | 1994 tömörítésként; 2016 az NLP esetében | Google Beszédfelismerő csapat |
A BPE a tokenizációt tömörítési problémaként közelíti meg, mohón összevonva a tanulókorpuszban leggyakrabban előforduló párokat. Ez az egyszerű, gyakoriságalapú megközelítés intuitívvá és viszonylag gyorsan kiszámíthatóvá teszi. A WordPiece egy valószínűségibb nézőpontot alkalmaz, azt kérdezve, hogy melyik összevonás tenné a legvalószínűbbé a tanulóadatokat egy unigram nyelvi modell feltételezése mellett. Ez a finom eltolódás a keretezésben eltérő tokenhatárokhoz vezet, különösen a morfológiailag gazdag nyelvek esetében.
Mivel a BPE pusztán a gyakoriságot követi, néha nyelvileg természetellenes pontokon választja szét a szavakat, ha ezek történetesen gyakori minták az adatokban. A WordPiece valószínűségalapú megközelítése jobban tiszteletben tartja a morfémahatárokat, olyan tokeneket hoz létre, amelyek jobban illeszkednek a jelentéssel bíró egységekhez. Angol esetében mindkét módszer hasonlóan teljesít, de a különbség hangsúlyosabbá válik a gazdagabb morfológiájú nyelvekben, mint például a német vagy a török.
A tokenizerek közötti választás gyakran a használt modellarchitektúrán múlik, nem pedig magán az algoritmuson való mély preferencián. Az OpenAI GPT családja a BPE-n szabványosított, így bárki, aki finomhangolja vagy telepíti ezeket a modelleket, örökli ezt a tokenizációs sémát. A Google BERT ökoszisztémája a WordPiece-t de facto választássá tette a csak kódolóra épülő transzformátor modellekhez. Ez az ökoszisztéma-berögzülés azt jelenti, hogy a szakemberek ritkán váltanak tokenizereket a modellarchitektúráktól függetlenül.
Mindkét algoritmus küzd bizonyos szélsőséges esetekkel, de különböző módokon. A BPE törékeny lehet a szóközökkel és az írásjelekkel, néha váratlan tokeneket produkálva, ha a formázás változik. A WordPiece jellemzően egy speciális előtag szimbólumot ad hozzá (mint a ## a BERT-ben) a folytatási alszavak jelzésére, ami explicitté teszi az eredeti szöveg rekonstruálását, de tokenizációs műtermékeket is bevezet, amelyeket a későbbi modelleknek meg kell tanulniuk kezelni.
Az utóbbi években jelentős fejlődésen ment keresztül mindkét algoritmus. A SentencePiece egy egységes keretrendszert kínál, amely egyetlen könyvtárral képes megvalósítani a BPE, a WordPiece vagy az unigram nyelvi modell tokenizációját. A bájtszintű BPE (a GPT-2-ben használt) nyers bájtokkal működik Unicode karakterek helyett, teljesen kiküszöbölve az ismeretlen tokenekkel kapcsolatos problémákat. Eközben az újabb megközelítések, mint például a BPE-kihagyás, sztochasztikusságot vezetnek be a betanítás során a robusztusság javítása érdekében. Ezek a fejlesztések azt mutatják, hogy bár a BPE és a WordPiece továbbra is alapvető fontosságúak, a terület folyamatosan fejlődik.
A BPE és a WordPiece mindig különböző tokenizációkat hoz létre ugyanahhoz a szöveghez.
Sok gyakori angol szó esetében mindkét algoritmus azonos vagy közel azonos szegmentációkra konvergál. A különbségek ritkább szavaknál, morfológiailag összetett kifejezéseknél és az angolnál gazdagabb inflexiós mintázatú nyelveknél válnak nyilvánvalóbbá.
A WordPiece neurális hálózatot használ a tokenizálás során.
Annak ellenére, hogy neurális modellekben használják, maga a WordPiece teljesen nem neurális. A likelihood számítás egyszerű unigram gyakorisági statisztikákon alapul, nem pedig valamilyen tanult neurális reprezentáción. A WordPiece-ben található „nyelvi modell” csupán egy gyakorisági táblázat, nem pedig transzformátor vagy rekurrens hálózat.
A BPE nem tudja kezelni a nagy karakterkészletű nyelveket, mint például a kínait.
A bájtszintű BPE kifejezetten ezt a problémát kezeli azáltal, hogy nyers UTF-8 bájtokat használ karakterek helyett. Ez azt jelenti, hogy bármilyen Unicode szöveget képes ábrázolni anélkül, hogy valaha is ismeretlen karakterrel találkozna, bár több tokenre lehet szükség a több ezer karakterből álló szkriptek esetében.
A tokenizer megválasztása jelentősen befolyásolja a modell teljesítményét a későbbi feladatokban.
Bár a tokenizáció fontos, a modellarchitektúra és a betanítási adatok skálája jellemzően eltörpül a tokenizer kiválasztásának fontossága mellett. Tanulmányok kimutatták, hogy a BPE és a WordPiece összehasonlíthatóan teljesít, ha minden más tényező azonos, a különbségek általában kicsik és feladatfüggőek.
A WordPiece-t kifejezetten a BERT számára találták ki.
A WordPiece több évvel megelőzi a BERT-et. A Google eredetileg japán és koreai hangalapú kereséshez fejlesztette ki a 2010-es évek elején, majd később, még mielőtt megjelent volna a BERT-ben, adaptálta a neurális gépi fordításhoz. A BERT-tel való kapcsolat egyszerűen azért erős, mert a BERT tette híressé az NLP kutatói közösségben.
A BPE szókincs mérete nem számít, amíg elég nagy.
szókincs mérete jelentősen befolyásolja mind a modell teljesítményét, mind a számítási hatékonyságot. Ha túl kicsi, a modell kapacitást pazarol a hosszú tokensorozatokra. Ha túl nagy, a mátrixok beágyazása nehézkessé válik, míg a ritka tokenek gyenge reprezentációt kapnak. A legtöbb szakember gondosan hangolja ezt a hiperparamétert, jellemzően 30 000 és 50 000 token közé állítja be az értéket.
Válassza a BPE-t, ha GPT-stílusú modellekkel dolgozik, vagy ha egyszerű, gyors tokenizációra van szüksége, amely sokféle szöveget, például kódot és többnyelvű adatokat is kezel. Válassza a WordPiece-t, ha BERT-alapú architektúrákra épít, vagy ha olyan tokenhatárokat szeretne, amelyek jobban illeszkednek a nyelvi morfémákhoz. A legtöbb szakember számára a döntést gyakorlatilag a kiválasztott előre betanított modell hozza meg.
késleltetésre fókuszált kiszolgálás és a tiszta pontosságoptimalizálás két egymással versengő filozófiát képvisel a mesterséges intelligencia telepítésében. A késleltetésre összpontosító kiszolgálás a sebességet és a felhasználói élményt helyezi előtérbe, míg a tiszta pontosságoptimalizálás a lehető legmagasabb modellteljesítményt célozza meg, függetlenül a következtetési időtől. A kettő közötti választás meghatározza, hogyan viselkednek a mesterséges intelligencia rendszerek éles környezetben.
Az A/B tesztelés a modellkiszolgáló rendszerben a versengő modellverziók közötti forgalmat irányítja át a valós teljesítmény mérése érdekében, míg az egyetlen modell telepítése egyetlen modellt küld minden felhasználónak. A csapatok a kockázattűrés, a forgalom mennyisége és a teljes bevezetés előtti statisztikai validáció szükségessége alapján választanak közöttük.
Az A/B tesztelés a tartalomkiadásokban magában foglalja a variációk különböző közönségszegmensek számára történő bevezetését és a teljesítmény mérését, míg az egyszeri tartalomkiadások egyetlen verziót juttatnak el egyszerre mindenkihez. Minden megközelítés más célokat szolgál, az A/B tesztelés az adatvezérelt optimalizálást, míg az egyszeri kiadások a sebességet és az egyszerűséget helyezik előtérbe.
Ez a részletes összehasonlítás az adaptív intelligenciamotorok architektúrális különbségeit, működési korlátait és valós teljesítményét vizsgálja a fix viselkedésű automatizálási rendszerekkel szemben. Megvizsgáljuk, hogy az új környezeti adatokból folyamatosan tanuló rendszerek hogyan viszonyulnak a merev, kiszámítható, szabályokon alapuló keretrendszerekhez.
Az adaptív lekérések dinamikusan igazítják a rendszer által lekérdezett információk módját és típusát, míg a statikus lekérési folyamatok rögzített szabályokat követnek, a kontextustól függetlenül. Mindkettő modern mesterséges intelligencia alkalmazásokat működtet, de rugalmasságukban, költségükben és pontosságukban élesen különböznek. A választás a köztük lévő feladatok összetettségétől és a költségvetéstől függ.
