Tokenizacija, ki temelji na podatkih, se uči pravil razdeljevanja iz velikih besedilnih korpusov z uporabo statističnih ali nevronskih metod, medtem ko tokenizacija na podlagi pravil temelji na ročno izdelanih jezikovnih vzorcih in slovarjih. Oba pristopa razdelita besedilo na smiselne enote, vendar se močno razlikujeta po prilagodljivosti, natančnosti in računskih zahtevah.
Pristop strojnega učenja, ki samodejno odkriva meje žetonov z analizo vzorcev v velikih naborih besedilnih podatkov.
Tradicionalni pristop, ki razdeli besedilo z uporabo vnaprej določenih jezikovnih pravil, regularnih izrazov in izbranih seznamov besed.
| Funkcija | Tokenizacija na podlagi podatkov | Tokenizacija na podlagi pravil |
|---|---|---|
| Pristop | Uči se iz velikih besedilnih korpusov z uporabo statističnih ali nevronskih metod | Uporablja ročno izdelana pravila, vzorce regularnih izrazov in slovarje |
| Zahtevano usposabljanje | Da, potrebuje veliko opomb ali surovih besedilnih podatkov | Ne, pravila ročno pišejo razvijalci. |
| Obravnavanje neznanih besed | Razdeli redke besede na znane podbesedne enote | Pogosto ne uspe ali zahteva ročne posodobitve slovarja |
| Razumljivost | Nižje, ker so naučeni vzorci vgrajeni v uteži modela | Visoko, vsako pravilo je mogoče prebrati in revidirati |
| Prilagodljivost novim jezikom | Enostavno prekvalificiranje za nove korpuse | Zahteva izgradnjo novih pravil iz nič |
| Računalniški stroški | Višji med treningom, hitrejši pri sklepanju | Nizka skupna vrednost, deluje z minimalno strojno opremo |
| Pogosti algoritmi | BPE, WordPiece, Unigram LM, SentencePiece | Razdelitev regularnih izrazov, odstranjevanje afiksov, iskanje po slovarju |
| Uporabljeno od | GPT, BERT, RoBERTa, T5 in večina sodobnih programov LLM | NLTK, cevovodi pravil spaCy, starejši sistemi NLP |
Tokenizatorji, ki temeljijo na podatkih, analizirajo frekvenčne vzorce v milijonih stavkov, da ugotovijo, kje se en žeton konča in kje se začne drug. Na primer, BPE začne s posameznimi znaki in večkrat združuje najpogostejše sosednje pare, dokler ni dosežena ciljna velikost besedišča. Tokenizatorji, ki temeljijo na pravilih, pa na podlagi vnaprej določenih morfoloških tabel uporabljajo fiksno zaporedje operacij, kot so delitev presledkov, odstranjevanje ločil ali odstranjevanje pripon, kot sta "-ing" in "-ed".
Ena največjih prednosti metod, ki temeljijo na podatkih, je elegantno ravnanje z besedami, ki jih model še nikoli ni videl. Redki medicinski izraz, kot je »pnevmonoultramicroscopicsilicovolcanoconiosis«, se razdeli na znane podbesede, ki jih model že razume. Sistemi, ki temeljijo na pravilih, običajno naletijo na takšne besede in jih bodisi pustijo kot en sam prevelik žeton bodisi jih v celoti izpustijo, razen če jih nekdo ročno doda v slovar.
Tokenizatorji, ki temeljijo na pravilih, so bolj pregledni. Razvijalec lahko odpre datoteko s pravili, natančno prebere, kako se besedilo deli, in izsledi morebitne nepričakovane izhode nazaj do določenega vzorca. Tokenizatorji, ki temeljijo na podatkih, se obnašajo bolj kot črne skrinjice, kjer isti vhod vedno ustvari enak izhod, vendar razlaga, zakaj je bila izbrana določena delitev, zahteva pregled statistike učenja ali notranjosti modela.
Usposabljanje tokenizatorja, ki temelji na podatkih, zahteva veliko računalništva in shranjevanja, pogosto pa se za izgradnjo kakovostnega besedišča obdelajo desetine gigabajtov besedila. Ko je tokenizator usposobljen, je sklepanje hitro, datoteka tokenizatorja pa majhna. Tokenizatorji, ki temeljijo na pravilih, za izgradnjo ali delovanje skoraj ne potrebujejo virov, zaradi česar so privlačni za sisteme z nizko zakasnitvijo, vgrajene naprave ali projekte, kjer učna infrastruktura ni na voljo.
Pristopi, ki temeljijo na podatkih, se naravno prilagajajo novim jezikom s preprostim ponovnim učenjem na novem korpusu, zato lahko večjezični modeli, kot je XLM-Roberta, z enim samim tokenizatorjem pokrijejo na desetine jezikov. Sistemi, ki temeljijo na pravilih, zahtevajo jezikoslovno znanje za vsak nov jezik, saj mora pravila za afikse, razrede znakov in sezname besed ročno izdelati nekdo, ki dobro pozna morfologijo.
Pri sodobnih nalogah NLP tokenizatorji, ki temeljijo na podatkih, dosledno prekašajo tiste, ki temeljijo na pravilih, pri merilih, ki vključujejo šumno besedilo, družbene medije ali kodo. Tokenizatorji, ki temeljijo na pravilih, se še vedno dobro obnesejo na dobro strukturiranih področjih, kot so pravni dokumenti ali formalno pisanje, kjer sta predvidljiva delitev in človeku berljiva pravila pomembnejša od obravnave robnih primerov.
Tokenizacija na podlagi pravil je zastarela in se v sodobni umetni inteligenci ne uporablja več.
Tokenizatorji, ki temeljijo na pravilih, ostajajo pogosti v produkcijskih NLP cevovodih, zlasti za korake predobdelave, kot so delitev stavkov, normalizacija in zaznavanje jezika. Mnogi sodobni sistemi združujejo metode, ki temeljijo na pravilih in na podatkih, namesto da bi eno nadomestili z drugo.
Tokenizacija, ki temelji na podatkih, vedno daje boljše rezultate kot metode, ki temeljijo na pravilih.
Kakovost je močno odvisna od učnega korpusa in naloge. Slabo usposobljen tokenizator, ki temelji na podatkih, lahko deluje slabše kot dobro uglašen na pravilih, zlasti pri besedilu, specifičnem za domeno, kjer se učni podatki ne ujemajo s ciljno porazdelitvijo.
Tokenizacija je le delitev besedila na presledke.
Tokenizatorji v resničnem svetu obravnavajo ločila, krčenja, večbesedne izraze, emojije in podbesedne enote. Preprosto ločevanje presledkov zgreši večino kompleksnosti, ki jo tokenizacija rešuje.
Ko je enkrat usposobljen, podatkovno voden tokenizator nikoli ne potrebuje posodabljanja.
Besedišče se spreminja z razvojem jezika, pojavljanjem novega slenga in pojavljanjem izrazov, specifičnih za določeno področje. Številne ekipe občasno prekvalificirajo ali razširijo svoje tokenizatorje, da bi sledile spreminjajočim se porazdelitvam besedil.
Vsi sodobni LLM-ji uporabljajo isti tokenizator.
Različne družine modelov uporabljajo različne sheme tokenizacije. Modeli GPT uporabljajo BPE, BERT uporablja WordPiece, T5 pa SentencePiece. Te izbire na merljive načine vplivajo na velikost besedišča, število žetonov in zmogljivost v nadaljnji fazi.
Pri gradnji sodobnih sistemov NLP ali LLM, ki morajo obravnavati raznolik besednjak, več jezikov ali šumno besedilo iz resničnega sveta, izberite tokenizacijo, ki temelji na podatkih. Tokenizacijo, ki temelji na pravilih, izberite, kadar potrebujete popolno preglednost, minimalno računanje ali delate v ozkem področju, kjer ročno izdelana pravila že dobro zajamejo jezik.
A/B testiranje pri izdajah vsebin vključuje uvajanje različic za različne segmente občinstva in merjenje uspešnosti, medtem ko enkratne izdaje vsebin hkrati vsem ponudijo eno različico. Vsak pristop ustreza različnim ciljem, pri čemer A/B testiranje daje prednost optimizaciji, ki temelji na podatkih, enkratne izdaje pa dajejo prednost hitrosti in preprostosti.
A/B testiranje pri streženju modelov usmerja promet med konkurenčnimi različicami modelov za merjenje učinkovitosti v resničnem svetu, medtem ko uvedba enega modela vsem uporabnikom dostavi en model. Ekipe izbirajo med njimi glede na toleranco tveganja, količino prometa in potrebo po statistični potrditvi pred popolno uvedbo.
Agenti umetne inteligence so avtonomni, ciljno usmerjeni sistemi, ki lahko načrtujejo, sklepajo in izvajajo naloge v različnih orodjih, medtem ko tradicionalne spletne aplikacije sledijo fiksnim delovnim procesom, ki jih vodijo uporabniki. Primerjava poudarja premik od statičnih vmesnikov k prilagodljivim, kontekstualno ozaveščenim sistemom, ki lahko proaktivno pomagajo uporabnikom, avtomatizirajo odločitve in dinamično komunicirajo med več storitvami.
Ta arhitekturna primerjava primerja deterministično inženirstvo agentov, ki temeljijo na pravilih, s prilagodljivo naravo učnih agentov, ki temeljijo na podatkih, ter ocenjuje njihovo uporabnost v resničnem svetu, omejitve skaliranja in delovanje v negotovosti.
Agentni sistemi umetne inteligence lahko načrtujejo, izvajajo večstopenjske naloge in avtonomno komunicirajo z zunanjimi orodji, medtem ko tradicionalni klepetalni roboti LLM primarno ustvarjajo besedilne odgovore v enem samem pogovornem koraku. Ključna razlika je v agenciji: agentni sistemi delujejo na podlagi ciljev, medtem ko klepetalni roboti reagirajo na pozive.
