Tokenizácia podslov rozdeľuje text na menšie jednotky, ako sú znaky alebo sekvencie znakov, zatiaľ čo tokenizácia na úrovni slov rozdeľuje text na hraniciach medzier a interpunkčných znamienok. Oba prístupy sú základom moderných systémov NLP, ale veľkosť slovnej zásoby, neznáme slová a morfologickú bohatosť riešia veľmi odlišne.
Rozdelí text na jednotky s premenlivou dĺžkou menšie ako slová, ako napríklad tokeny Byte Pair Encoding alebo segmenty WordPiece.
Rozdeľuje text na hraniciach slov pomocou medzier a interpunkcie, pričom každé jednotlivé slovo považuje za jeden token.
| Funkcia | Tokenizácia podslov | Tokenizácia na úrovni slov |
|---|---|---|
| Veľkosť slovnej zásoby | 8 000 – 100 000 tokenov | Typicky 100 000+ tokenov |
| Spracovanie neznámych slov | Rozkladá sa na známe podslová | Mapuje sa na token UNK, stráca sa informácia |
| Morfologicky bohaté jazyky | Prirodzene zvláda aglutináciu a zlučovanie | Bojuje s explozívnym rastom slovnej zásoby |
| Efektívnosť tréningových dát | Učí sa zo spoločného výskytu podslov v rôznych slovách | Vyžaduje rozsiahle korpusy pre pokrytie vzácnych slov |
| Výpočtová réžia | Zložitejšie kódovanie a dekódovanie | Jednoduchšia a rýchlejšia tokenizácia |
| Reprezentačná granularita | Zachytáva význam na úrovni morfém | Funguje so sémantikou celých slov |
| Typické prípady použitia | Neurónový strojový preklad, rozsiahle jazykové modely | Jednoduché klasifikátory, extrakcia kľúčových slov, staršie systémy |
Metódy s podslovami sú efektívne, keď sa rast slovnej zásoby stane nezvládnuteľným. Rozložením slov na opakovane použiteľné časti môže model reprezentovať slová „walk“ (prechádzať sa), „walked“ (chodiť), „walking“ (chôdza) a „walker“ (chodiaci) prostredníctvom zdieľaných podjednotiek namiesto štyroch nezávislých hesiel. Systémy na úrovni slov čelia kombinatorickej explózii s každým morfologickým variantom, čo núti buď k obrovskej slovnej zásobe, ktorá zaťažuje pamäť, alebo k agresívnemu prerezávaniu, ktoré obetuje pokrytie.
Keď narazia na nové slovo ako „Covfefe“ alebo technický neologizmus, tokenizátory podslov ho rozdelia na rozpoznateľné fragmenty, ktoré nesú čiastočný význam. Tokenizátor na úrovni slova jednoducho pokrčí plecami a vydá token UNK, čím názov zriedkavého ochorenia považuje za preklep. Táto medzera sa stáva kritickou v oblastiach ako medicína alebo právo, kde je síce veľa špecializovanej terminológie, ale v tréningových dátach sa objavuje zriedkavo.
Jazyky konštruujú význam odlišne a prístupy k podslovám sa tejto rozmanitosti elegantnejšie prispôsobujú. Známe dlhé zložené podstatné mená nemčiny, prepletanie koreňov a vzorov v arabčine a zmiešané systémy písania v japončine, to všetko spochybňuje predpoklady na úrovni slov. Tokenizácia podslov tieto výzvy neodstraňuje, ale poskytuje jednotnejší rámec, ktorý si vyžaduje menej jazykovo špecifického inžinierstva.
Jednoduchosť má v produkčných prostrediach dôležitú úlohu. Tokenizácia na úrovni slov vyžaduje minimálne predspracovanie a prehľadne sa mapuje na vkladanie vyhľadávaní. Metódy s podslovami prinášajú zložitosť kódovania, dlhšie sekvencie pre ten istý text a potrebu rekonštruovať pôvodné slová z fragmentov. Pre vysokovýkonné aplikácie s obmedzenými doménami slovnej zásoby nemusí táto réžia odôvodniť výhody.
Intuitívne uspokojuje vnímanie slova „king“ ako jedného tokenu namiesto [„k“, „ing“] alebo [„kin“, „g“]. Hranice na úrovni slov sa zhodujú s tým, ako ľudia vnímajú jazyk, vďaka čomu je analýza chýb jednoduchšia. Výstupy podslov môžu zmiasť aj skúsených odborníkov, keď sa rozdelenia vyskytnú na neočakávaných pozíciách, hoci nástroje na vizualizáciu sa značne zlepšili.
Tokenizácia podslov je len tokenizácia na úrovni znakov s ďalšími krokmi.
Hoci obe fungujú pod úrovňou slov, metódy podslov ako BPE a WordPiece identifikujú štatisticky významné jednotky, ktoré často zodpovedajú morfémam alebo slabikám. Tokenizácia znakov považuje „th“ a „ing“ za ľubovoľné sekvencie, zatiaľ čo metódy podslov sa ich učia ako funkčné jednotky prostredníctvom analýzy korpusu.
Tokenizácia na úrovni slov je zastaraná a nikdy by sa nemala používať.
Mnohé produkčné systémy sa stále spoliehajú na prístupy na úrovni slov, najmä v úzkych oblastiach s kontrolovanou slovnou zásobou, ako je medicínske kódovanie alebo právna klasifikácia. Výhody jednoduchosti a rýchlosti zostávajú relevantné, keď problémový priestor nevyžaduje flexibilitu metód s podslovami.
Tokenizácia podslov úplne rieši problém s nedostatkom slovnej zásoby.
Metódy s podslovami znižujú, ale neodstraňujú problémy s OOV. Extrémne zriedkavé mená, nové kombinácie emoji alebo idiosynkratické hláskovanie sa stále môžu rozdrobiť na nezmyselné časti. Zlepšenie je v porovnaní s prístupmi na úrovni slov podstatné, no dokonalé pokrytie zostáva nedosiahnuteľné.
Všetky moderné modely NLP používajú rovnaký algoritmus podslov.
Táto oblasť zahŕňa BPE, WordPiece, SentencePiece, tokenizáciu Unigramu a novšie prístupy, ako napríklad BPE-dropout. Každý z nich robí rôzne kompromisy medzi veľkosťou slovnej zásoby, dĺžkou sekvencie a jazykovou vierohodnosťou. Modely GPT zvyčajne používajú BPE, BERT používa WordPiece a T5 používa SentencePiece.
Voľba tokenizácie má minimálny vplyv na výkon modelu.
Tokenizácia priamo ovplyvňuje to, čo sa model dokáže naučiť, ako efektívne trénuje a ako zovšeobecňuje. Slabá tokenizácia môže fragmentovať súvisiace koncepty alebo spájať odlišné významy, čím vytvára základné reprezentačné obmedzenia, ktoré žiadna kapacita modelu úplne neprekoná.
Pre moderné neurónové architektúry, viacjazyčné aplikácie a domény s vyvíjajúcou sa slovnou zásobou zvoľte tokenizáciu podslov. Pre staršie systémy, prostredia s obmedzenými zdrojmi alebo problémy, kde je slovná zásoba prirodzene ohraničená a interpretovateľnosť je najdôležitejšia, sa držte prístupov na úrovni slov.
A/B testovanie v modelových službách smeruje prevádzku medzi konkurenčnými verziami modelov na meranie reálneho výkonu, zatiaľ čo nasadenie jedného modelu poskytuje jeden model všetkým používateľom. Tímy si medzi nimi vyberajú na základe tolerancie rizika, objemu prevádzky a potreby štatistického overenia pred úplným nasadením.
A/B testovanie pri vydávaní obsahu zahŕňa zavádzanie variácií pre rôzne segmenty publika a meranie výkonnosti, zatiaľ čo jednorazové vydania obsahu ponúkajú jednu verziu všetkým naraz. Každý prístup vyhovuje iným cieľom, pričom A/B testovanie uprednostňuje optimalizáciu na základe dát a jednorazové vydania uprednostňujú rýchlosť a jednoduchosť.
Toto porovnanie analyzuje strategické voľby v strojovom učení medzi adaptáciou domény, ktorá prenáša znalosti z označeného zdrojového prostredia do iného cieľového prostredia, a školením v rámci domény, ktoré vytvára modely výlučne na základe údajov získaných z presného cieľového nastavenia nasadenia.
Toto podrobné porovnanie skúma architektonické rozdiely, prevádzkové limity a reálny výkon adaptívnych inteligenčných systémov v porovnaní so systémami automatizácie s pevným správaním. Pozrieme sa na to, ako systémy, ktoré sa neustále učia z nových environmentálnych údajov, fungujú v porovnaní s rigidnými, predvídateľnými rámcami založenými na pravidlách.
Adaptívne vyhľadávanie dynamicky upravuje spôsob a aké informácie systém načítava na základe dotazu, zatiaľ čo statické vyhľadávacie kanály sa riadia pevnými pravidlami bez ohľadu na kontext. Obe poháňajú moderné aplikácie umelej inteligencie, ale výrazne sa líšia vo flexibilite, nákladoch a presnosti. Výber medzi nimi závisí od zložitosti pracovnej záťaže a rozpočtu.
