Tokenizácia riadená dátami sa učí pravidlá rozdelenia z rozsiahlych textových korpusov pomocou štatistických alebo neurónových metód, zatiaľ čo tokenizácia založená na pravidlách sa spolieha na ručne vytvorené jazykové vzory a slovníky. Oba prístupy rozdeľujú text na zmysluplné jednotky, ale výrazne sa líšia vo flexibilite, presnosti a výpočtových nárokoch.
Prístup strojového učenia, ktorý automaticky zisťuje hranice tokenov analýzou vzorov vo veľkých textových súboroch údajov.
Tradičný prístup, ktorý rozdeľuje text pomocou preddefinovaných lingvistických pravidiel, regulárnych výrazov a zoznamov slov.
| Funkcia | Tokenizácia riadená dátami | Tokenizácia založená na pravidlách |
|---|---|---|
| Prístup | Učí sa z rozsiahlych textových korpusov pomocou štatistických alebo neurónových metód | Používa ručne vytvorené pravidlá, vzory regulárnych výrazov a slovníky |
| Požadované školenie | Áno, vyžaduje si značné množstvo anotovaných alebo nespracovaných textových údajov | Nie, pravidlá píšu vývojári manuálne |
| Spracovanie neznámych slov | Rozdeľuje zriedkavé slová na známe podslovné jednotky | Často zlyháva alebo vyžaduje manuálne aktualizácie slovníka |
| Interpretovateľnosť | Nižšia, pretože naučené vzory sú zabudované do váh modelu | Vysoká, každé pravidlo je možné prečítať a auditovať |
| Prispôsobivosť novým jazykom | Ľahko sa preškolí na nové korpusy | Vyžaduje si vytvorenie nových súborov pravidiel od začiatku |
| Výpočtové náklady | Vyššia počas tréningu, rýchlejšia pri inferencii | Celkovo nízka, beží na minimálnom hardvéri |
| Bežné algoritmy | BPE, WordPiece, Unigram LM, SentencePiece | Rozdeľovanie regulárnych výrazov, odstraňovanie afixov, vyhľadávanie v slovníku |
| Používané používateľom | GPT, BERT, RoBERTa, T5 a väčšina moderných LLM | NLTK, kanály pravidiel spaCy, staršie systémy NLP |
Tokenizátory založené na dátach analyzujú frekvenčné vzorce v miliónoch viet, aby rozhodli, kde jeden token končí a druhý začína. Napríklad BPE začína jednotlivými znakmi a opakovane spája najčastejšie susedné páry, kým sa nedosiahne cieľová veľkosť slovnej zásoby. Tokenizátory založené na pravidlách naopak používajú pevnú postupnosť operácií, ako je rozdelenie medzier, odstránenie interpunkcie alebo odstránenie prípon ako „-ing“ a „-ed“ na základe preddefinovaných morfologických tabuliek.
Jednou z najväčších silných stránok metód založených na dátach je elegantné spracovanie slov, ktoré model nikdy predtým nevidel. Vzácny medicínsky termín ako „pneumonoultramicroscopicsilicovolcanoconiosis“ sa rozdelí na známe podslovné časti, ktorým model už rozumie. Systémy založené na pravidlách zvyčajne na takéto slová narazia a buď ich ponechajú ako jeden nadrozmerný token, alebo ich úplne vynechajú, pokiaľ ich niekto manuálne nepridá do slovníka.
Tokenizátory založené na pravidlách sú výhodou transparentnosti. Vývojár môže otvoriť súbor s pravidlami, presne prečítať, ako sa text rozdeľuje, a vysledovať akýkoľvek neočakávaný výstup späť k určitému vzoru. Tokenizátory riadené dátami sa správajú skôr ako čierne skrinky, kde rovnaký vstup vždy produkuje rovnaký výstup, ale vysvetlenie, prečo bolo zvolené konkrétne rozdelenie, si vyžaduje kontrolu štatistík trénovania alebo vnútorných funkcií modelu.
Trénovanie tokenizátora riadeného dátami si vyžaduje značné výpočtové a úložné priestory, pričom na vytvorenie kvalitnej slovnej zásoby sa často spracovávajú desiatky gigabajtov textu. Po natrénovaní je inferencia rýchla a súbor tokenizátora je malý. Tokenizátory založené na pravidlách nepotrebujú na zostavenie ani spustenie takmer žiadne zdroje, čo ich robí atraktívnymi pre systémy s nízkou latenciou, vstavané zariadenia alebo projekty, kde nie je k dispozícii infraštruktúra pre trénovanie.
Prístupy založené na dátach sa prirodzene prispôsobujú novým jazykom jednoduchým pretrénovaním na novom korpuse, a preto viacjazyčné modely ako XLM-Roberta dokážu pokryť desiatky jazykov jedným tokenizátorom. Systémy založené na pravidlách vyžadujú jazykové znalosti pre každý nový jazyk, pretože pravidlá pre afixy, triedy znakov a zoznamy slov musí ručne vytvárať niekto, kto dobre pozná morfológiu.
V moderných úlohách NLP tokenizátory riadené dátami konzistentne prekonávajú tokenizátory založené na pravidlách v benchmarkoch zahŕňajúcich hlučný text, sociálne médiá alebo kód. Tokenizátory založené na pravidlách si stále udržiavajú svoju pozíciu v dobre štruktúrovaných oblastiach, ako sú právne dokumenty alebo formálne písanie, kde predvídateľné rozdelenie a pravidlá čitateľné človekom sú dôležitejšie ako riešenie okrajových prípadov.
Tokenizácia založená na pravidlách je zastaraná a v modernej umelej inteligencii sa už nepoužíva.
Tokenizátory založené na pravidlách zostávajú bežné v produkčných NLP pipeline, najmä pre kroky predspracovania, ako je delenie viet, normalizácia a detekcia jazyka. Mnoho moderných systémov kombinuje metódy založené na pravidlách a metódy riadené dátami, namiesto toho, aby jednu nahrádzali druhou.
Tokenizácia riadená dátami vždy prináša lepšie výsledky ako metódy založené na pravidlách.
Kvalita vo veľkej miere závisí od trénovacieho korpusu a úlohy. Zle trénovaný tokenizátor riadený dátami môže fungovať horšie ako dobre vyladený tokenizátor založený na pravidlách, najmä v prípade textu špecifického pre danú doménu, kde trénovacie dáta nezodpovedajú cieľovému rozdeleniu.
Tokenizácia je len rozdelenie textu na medzery.
Tokenizátory v reálnom svete spracovávajú interpunkciu, skrátené znaky, viacslovné výrazy, emoji a podslovné jednotky. Jednoduché rozdelenie medzier obchádza väčšinu zložitosti, ktorú má tokenizácia vyriešiť.
Po natrénovaní tokenizátor riadený dátami nikdy nepotrebuje aktualizáciu.
Slovná zásoba sa mení s vývojom jazyka, objavuje sa nový slang a objavujú sa termíny špecifické pre danú oblasť. Mnohé tímy pravidelne preškoľujú alebo rozširujú svoje tokenizátory, aby držali krok s meniacim sa rozložením textu.
Všetky moderné LLM používajú rovnaký tokenizátor.
Rôzne rodiny modelov používajú rôzne schémy tokenizácie. Modely GPT používajú BPE, BERT používa WordPiece a T5 používa SentencePiece. Tieto voľby merateľným spôsobom ovplyvňujú veľkosť slovnej zásoby, počet tokenov a výkon následných procesov.
Pri vytváraní moderných NLP alebo LLM systémov, ktoré musia spracovať rozmanitú slovnú zásobu, viacero jazykov alebo zašumený text z reálneho sveta, zvoľte tokenizáciu založenú na dátach. Tokenizáciu založenú na pravidlách zvoľte, keď potrebujete úplnú transparentnosť, minimálne výpočtové náklady alebo pracujete v úzkej oblasti, kde ručne vytvorené pravidlá už dobre zachytávajú daný jazyk.
A/B testovanie v modelových službách smeruje prevádzku medzi konkurenčnými verziami modelov na meranie reálneho výkonu, zatiaľ čo nasadenie jedného modelu poskytuje jeden model všetkým používateľom. Tímy si medzi nimi vyberajú na základe tolerancie rizika, objemu prevádzky a potreby štatistického overenia pred úplným nasadením.
A/B testovanie pri vydávaní obsahu zahŕňa zavádzanie variácií pre rôzne segmenty publika a meranie výkonnosti, zatiaľ čo jednorazové vydania obsahu ponúkajú jednu verziu všetkým naraz. Každý prístup vyhovuje iným cieľom, pričom A/B testovanie uprednostňuje optimalizáciu na základe dát a jednorazové vydania uprednostňujú rýchlosť a jednoduchosť.
Toto porovnanie analyzuje strategické voľby v strojovom učení medzi adaptáciou domény, ktorá prenáša znalosti z označeného zdrojového prostredia do iného cieľového prostredia, a školením v rámci domény, ktoré vytvára modely výlučne na základe údajov získaných z presného cieľového nastavenia nasadenia.
Toto podrobné porovnanie skúma architektonické rozdiely, prevádzkové limity a reálny výkon adaptívnych inteligenčných systémov v porovnaní so systémami automatizácie s pevným správaním. Pozrieme sa na to, ako systémy, ktoré sa neustále učia z nových environmentálnych údajov, fungujú v porovnaní s rigidnými, predvídateľnými rámcami založenými na pravidlách.
Adaptívne vyhľadávanie dynamicky upravuje spôsob a aké informácie systém načítava na základe dotazu, zatiaľ čo statické vyhľadávacie kanály sa riadia pevnými pravidlami bez ohľadu na kontext. Obe poháňajú moderné aplikácie umelej inteligencie, ale výrazne sa líšia vo flexibilite, nákladoch a presnosti. Výber medzi nimi závisí od zložitosti pracovnej záťaže a rozpočtu.
