Datuetan oinarritutako tokenizazioak testu-corpus handietatik arauak banatzen ikasten du metodo estatistikoak edo neuronalak erabiliz, eta arauetan oinarritutako tokenizazioak, berriz, eskuz landutako eredu linguistikoetan eta hiztegietan oinarritzen da. Bi ikuspegiek testua unitate esanguratsuetan banatzen dute, baina nabarmen desberdinak dira malgutasunean, zehaztasunean eta eskakizun konputazionaletan.
Testu-datu-multzo handietan ereduak aztertuz tokenen mugak automatikoki aurkitzen dituen makina-ikaskuntzako ikuspegi bat.
Testua aurrez definitutako arau linguistikoak, adierazpen erregularrak eta hitz-zerrendak erabiliz banatzen duen ikuspegi tradizionala.
| Ezaugarria | Datuetan oinarritutako tokenizazioa | Arauetan Oinarritutako Tokenizazioa |
|---|---|---|
| Hurbilketa | Testu-corpus handietatik ikasten du metodo estatistikoak edo neuronalak erabiliz | Eskuz egindako arauak, regex ereduak eta hiztegiak erabiltzen ditu |
| Beharrezko prestakuntza | Bai, datu ohardun edo testu gordin ugari behar ditu | Ez, arauak garatzaileek eskuz idazten dituzte |
| Hitz ezezagunak maneiatzea | Hitz arraroak azpihitz unitate ezagunetan banatzen ditu | Askotan huts egiten du edo hiztegiaren eskuzko eguneraketak behar ditu |
| Interpretagarritasuna | Txikiagoa, ikasitako ereduak modeloen pisuetan txertatuta baitaude | Altua, arau guztiak irakurri eta ikuskatu daitezke |
| Hizkuntza berrietara egokitzeko gaitasuna | Erraz berriro trebatu corpus berrietan | Arau multzo berriak hutsetik eraikitzea eskatzen du |
| Konputazio-kostua | Entrenamenduan altuagoa, inferentzian azkarra | Oro har baxua, hardware minimoarekin funtzionatzen du |
| Ohiko algoritmoak | BPE, WordPiece, Unigram LM, SentencePiece | Regex zatiketa, atzizkien kentzea, hiztegien bilaketa |
| Erabilia | GPT, BERT, RoBERTa, T5 eta LLM moderno gehienak | NLTK, spaCy arau-hodiak, NLP sistema zaharrak |
Datuetan oinarritutako tokenizatzaileek milioika esalditako maiztasun-ereduak aztertzen dituzte token bat non amaitzen den eta beste bat non hasten den erabakitzeko. Adibidez, BPE-k karaktere indibidualekin hasten da eta behin eta berriz elkartzen ditu bikote hurbilenak hiztegi-tamaina batera iritsi arte. Arauetan oinarritutako tokenizatzaileek, aldiz, eragiketa-sekuentzia finko bat aplikatzen dute, hala nola, zuriuneetan zatitzea, puntuazioa kentzea edo "-ing" eta "-ed" bezalako atzizkiak kentzea, aurrez definitutako taula morfologikoetan oinarrituta.
Datuetan oinarritutako metodoen indargune handienetako bat ereduak inoiz ikusi ez dituen hitzen kudeaketa dotorea da. "Pneumonoultramikroskopikosilikobolkanokoniosi" bezalako medikuntza-termino arraro bat ereduak dagoeneko ulertzen dituen azpihitz-zati ezagunetan banatzen da. Arauetan oinarritutako sistemek normalean hitz horiek aurkitzen dituzte, token handi bakar gisa utziz edo erabat kenduz, norbaitek hiztegi batera eskuz gehitzen ez baditu behintzat.
Arauetan oinarritutako tokenizatzaileek gardentasunari dagokionez irabazten dute. Garatzaile batek arau fitxategia ireki dezake, testua nola banatzen den zehatz-mehatz irakurri eta ustekabeko irteera oro eredu zehatz batera itzul dezake. Datuetan oinarritutako tokenizatzaileek kutxa beltzen antzera jokatzen dute, non sarrera berak beti irteera bera sortzen duen, baina zatiketa jakin bat zergatik aukeratu den azaltzeko entrenamendu estatistikak edo ereduaren barnekoak ikuskatu behar dira.
Datuetan oinarritutako tokenizatzaile bat entrenatzeak konputazio eta biltegiratze lan handia behar du, askotan hamarnaka gigabyte testu prozesatzen baitira kalitatezko hiztegia eraikitzeko. Behin entrenatuta, inferentzia azkarra da eta tokenizatzailearen fitxategia txikia da. Arauetan oinarritutako tokenizatzaileek ia ez dute baliabiderik behar eraikitzeko edo exekutatzeko, eta horrek erakargarri bihurtzen ditu latentzia baxuko sistemetarako, gailu txertatuetarako edo entrenamendu azpiegitura eskuragarri ez dagoen proiektuetarako.
Datuetan oinarritutako ikuspegiek hizkuntza berrietara modu naturalean eskalatzen dira corpus berri batean berriro entrenatuz, eta horregatik XLM-Roberta bezalako eredu eleaniztunek dozenaka hizkuntza estal ditzakete tokenizatzaile bakarrarekin. Arauetan oinarritutako sistemek hizkuntza-espezializazioa eskatzen dute hizkuntza berri bakoitzerako, afixo-arauak, karaktere-klaseak eta hitz-zerrendak morfologia ondo ezagutzen duen norbaitek eskuz landu behar baititu.
NLP modernoko zereginetarako, datuetan oinarritutako tokenizatzaileek etengabe gainditzen dituzte arauetan oinarritutakoak testu zaratatsuak, sare sozialak edo kodea erabiltzen diren erreferentzietan. Arauetan oinarritutako tokenizatzaileek oraindik ere ondo egituratutako domeinuetan mantentzen dute beren lekua, hala nola dokumentu legalak edo idazketa formalak, non banaketa aurreikusgarriak eta gizakiek irakur ditzaketen arauak kasu ertzak kudeatzea baino garrantzitsuagoak diren.
Arauetan oinarritutako tokenizazioa zaharkituta dago eta ez da jada erabiltzen gaur egungo IA-n.
Arauetan oinarritutako tokenizatzaileak ohikoak dira oraindik NLP ekoizpen-hodietan, batez ere esaldiak zatitzea, normalizazioa eta hizkuntza detektatzea bezalako aurreprozesatzeko urratsetarako. Sistema moderno askok arauetan oinarritutako eta datuetan oinarritutako metodoak konbinatzen dituzte, bata bestearekin ordezkatu beharrean.
Datuetan oinarritutako tokenizazioak beti emaitza hobeak ematen ditu arauetan oinarritutako metodoek baino.
Kalitatea neurri handi batean entrenamendu-corpusaren eta zereginaren araberakoa da. Gaizki entrenatutako datuetan oinarritutako tokenizatzaile batek ondo doitutako arauetan oinarritutako batek baino okerrago funtziona dezake, batez ere domeinu espezifikoko testuan, non entrenamendu-datuak helburuko banaketarekin bat ez datozen.
Tokenizazioa testua hutsuneetan zatitzea besterik ez da.
Benetako tokenizatzaileek puntuazioa, laburdurak, hitz anitzeko adierazpenak, emojiak eta azpihitz unitateak kudeatzen dituzte. Zuriuneen banaketa sinpleak tokenizazioak konpontzeko diseinatutako konplexutasun gehiena galtzen du.
Behin entrenatuta, datuetan oinarritutako tokenizatzaile batek ez du inoiz eguneratu beharrik.
Hiztegiak aldatzen dira hizkuntza eboluzionatzen den heinean, jerga berria agertzen den heinean eta domeinu espezifikoetako terminoak sortzen diren heinean. Talde askok beren tokenizatzaileak aldian-aldian birtrebatzen edo zabaltzen dituzte testu-banaketa aldakorrekin bat etortzeko.
LLM moderno guztiek tokenizer bera erabiltzen dute.
Modelo familia ezberdinek tokenizazio eskema desberdinak erabiltzen dituzte. GPT modeloek BPE erabiltzen dute, BERTek WordPiece eta T5ek SentencePiece. Aukera hauek hiztegiaren tamainan, token kopuruan eta beheranzko errendimenduan eragina dute modu neurgarrietan.
Aukeratu datuetan oinarritutako tokenizazioa hiztegi anitza, hizkuntza anitz edo benetako munduko testu zaratatsua kudeatu behar duten NLP edo LLM sistema modernoak eraikitzean. Aukeratu arauetan oinarritutako tokenizazioa gardentasun osoa, konputazio minimoa edo eskuz egindako arauek hizkuntza ondo jasotzen duten eremu estu batean lan egiten ari zarenean.
Edukien argitalpenetan A/B probak aldaerak publiko segmentu desberdinetara zabaltzea eta errendimendua neurtzea dakar, behin-behineko edukien argitalpenek, berriz, bertsio bakarra guztiei aldi berean bidaltzen diete. Ikuspegi bakoitzak helburu desberdinak ditu, A/B probak datuetan oinarritutako optimizazioa lehenesten duelarik eta behin-behineko argitalpenek abiadura eta sinpletasuna lehenesten dituztelarik.
Modeloen zerbitzatzean A/B probak lehiakideen modeloen arteko trafikoa bideratzen du benetako munduko errendimendua neurtzeko, eta modelo bakarreko hedapenak, berriz, modelo bakarra bidaltzen die erabiltzaile guztiei. Taldeek bien artean aukeratzen dute arrisku-tolerantziaren, trafiko-bolumenaren eta guztiz zabaldu aurretik baliozkotze estatistikoaren beharraren arabera.
Adimen artifizialaren laguntzaileek elkarrizketa-elkarrekintzan, laguntza emozionalean eta laguntza egokitzailean jartzen dute arreta, produktibitate-aplikazio tradizionalek, berriz, zereginen kudeaketa egituratua, lan-fluxuak eta eraginkortasun-tresnak lehenesten dituzten bitartean. Konparaketak zereginetarako diseinatutako software zurrunetik produktibitatea interakzio natural eta gizakiaren antzekoarekin eta testuinguru-laguntzarekin uztartzen dituzten sistema egokitzaileetara igarotzea nabarmentzen du.
Adimen artifizialaren eta automatizazioaren arteko desberdintasun nagusiak azaltzen dituen konparazioa da hau, nola funtzionatzen duten, zein arazo ebazten dituzten, egokitasuna, konplexutasuna, kostuak eta enpresa-erabilera errealen kasuak aztertuz.
Azterketa zehatz honek IA bidezko sormena —non algoritmoen ereduen sintesiak ideien sorkuntza eta gauzatze teknikoa bizkortzen dituen— gizakiaren sormen hutsarekin alderatzen du, zeina erabat sortzen den ahultasun pertsonaletatik, sakontasun emozionaletik eta nahitako arau-hausteetatik. Tresna artifizialek sorkuntza demokratizatzen eta bolumena handitzen duten bitartean, benetako giza arteak bizitako esperientzian oinarritzen da lana esanahi sozial sakon batez hornitzeko.
