Dizajni i tokenizatorit dhe përpunimi i tekstit të papërpunuar përfaqësojnë dy qasje thelbësisht të ndryshme për përgatitjen e tekstit për sistemet e inteligjencës artificiale, ku tokenizatorët e ndajnë gjuhën në njësi diskrete, ndërsa përpunimi i tekstit të papërpunuar ruan sekuencat origjinale të karaktereve për konsumin e modelit.
Qasje arkitekturore që segmenton tekstin në njësi nënfjalëshe kuptimplote për përpunimin e rrjetit nervor.
Konsum i drejtpërdrejtë i tekstit në nivel karakteri ose bajt pa ndarje të qartë në njësi të paracaktuara.
| Veçori | Dizajni i Tokenizerit | Përpunimi i tekstit të papërpunuar |
|---|---|---|
| Njësia Themelore | Shenjat e nënfjalëve (fjalë, pjesë, bajt) | Karaktere individuale ose bajt të papërpunuar |
| Madhësia e fjalorit | Fikse (zakonisht 32K-200K tokena) | Efektivisht i pakufizuar (Unicode ka mbi 149 mijë karaktere) |
| Trajtimi i Fjalorit të Humbur | Kërkon tokena të veçantë ose strategji rezervë | Nuk ndodh kurrë—çdo karakter/bajt është i vlefshëm |
| Efikasiteti i Gjatësisë së Sekuencës | Kompakt (1 token ≈ 0.75 fjalë) | Zgjerues (5-10 herë më i gjatë se ai i tokenizuar) |
| Mbështetje shumëgjuhëshe | I pabarabartë—disa gjuhë tokenizojnë në mënyrë joefikase | Uniforme - të gjitha gjuhët trajtohen në mënyrë identike |
| Shpenzime llogaritëse | Parapërpunimi: hapi i tokenizimit; përfundimi: sekuenca më të shkurtra | Pa përpunim paraprak; përfundim: sekuenca më të gjata |
| Rastet tipike të përdorimit | Modele të mëdha gjuhësore (GPT, LLaMA, Claude) | Arkitektura të specializuara, kërkime mbi qëndrueshmërinë |
Dizajni i tokenizuesit imponon një shtresë përkthimi të qartë midis tekstit të lexueshëm nga njeriu dhe përfaqësimeve numerike. Kur shkruani 'përshëndetje', një tokenizues e harton këtë me ID specifike të numrave të plotë - ndoshta [15496, 11] në fjalorin e GPT-2. Përpunimi i tekstit të papërpunuar e anashkalon plotësisht këtë indirekt, duke futur vlera ASCII ose bajt UTF-8 direkt në model. Ky ndryshim arkitektonik ndikon në çdo vendim të rrjedhës së procesit, nga mënyra se si modelet trajtojnë gabimet drejtshkrimore deri te ndjeshmëria e tyre ndaj veçorive të normalizimit të Unicode.
Tokenizuesit e nënfjalëve shkëlqejnë me fjalë të rralla duke e zbërthyer 'antidisestablishmentarizmin' në fragmente të njohura. Megjithatë, ata hasin në të dhëna vërtet të reja - zhargone në zhvillim, emra të rrallë ose gabime drejtshkrimore - duke prodhuar ndonjëherë sekuenca të çuditshme tokenësh. Përpunimi i karaktereve të papërpunuara trajton një 'teh' të shkruar gabim në mënyrë identike me 'the' për sa i përket vlefshmërisë së përfaqësimit, megjithëse modeli duhet të mësojë marrëdhënien e tyre nga konteksti. Kjo i bën modelet në nivel personazhi në thelb më të qëndrueshme ndaj gabimeve drejtshkrimore kundërshtare, por kërkon më shumë të dhëna trajnimi për të mësuar modelet kompozicionale.
Hendeku i efikasitetit është i madh. Një fjali tipike në anglisht mund të bëhet 15 tokena ose 80 karaktere. Për arkitekturat transformuese me kompleksitet kuadratik të vëmendjes, ky ndryshim 5-fish në gjatësinë e sekuencës përkthehet në 25-fish më shumë llogaritje. Inovacionet e fundit - vëmendja lineare, modelet e hapësirës së gjendjes dhe arkitekturat e vetëdijshme për harduerin - po e ngushtojnë këtë hendek. Megjithatë, për grupet standarde të GPU-së që ekzekutojnë modele të bazuara në vëmendje, tokenizimi mbetet zgjedhja praktike për dokumente të gjata.
Dizajni i tokenizuesit pa dashje kodon pabarazinë gjuhësore. Anglishtja mesatarisht ka rreth 0.2 tokena për karakter; tajlandishtja ose birmanishtja mund të kalojnë 1.0, që do të thotë se përmbajtja ekuivalente kushton më shumë për t'u përpunuar. Modelet e bajteve të papërpunuara ose të karaktereve e anashkalojnë plotësisht këtë pabarazi - një bajt është një bajt pavarësisht gjuhës. Kjo ka motivuar interesin në rritje të kërkimit, veçanërisht për gjuhët me burime të pakta ku cilësia e tokenizimit shpesh mbetet prapa.
Kufijtë e tokenëve mund të bëhen sinjale të të nxënit aksidental. Modelet ndonjëherë shfrytëzojnë faktin që numrat tokenizohen shifër pas shifre për të shkurtuar aritmetikën, ose që indentacioni i kodit ndjek modele të parashikueshme tokenësh. Përpunimi i papërpunuar i detyron modelet të zbulojnë një strukturë të tillë nga e para, duke çuar potencialisht në përfaqësime më të përgjithësueshme, por në një konvergjencë fillestare më të ngadaltë. Disa studiues argumentojnë se kjo i bën modelet e personazheve nxënës më të 'ndershëm', më pak të prirur ndaj artefakteve specifike të tokenizuesit.
Tokenizuesit janë thjesht ndarje vargjesh dhe nuk ndikojnë në inteligjencën e modelit.
Dizajni i tokenizuesit ndikon thellësisht në atë që mësojnë modelet dhe mënyrën se si arsyetojnë. Aftësitë e përmirësuara matematikore të GPT-4 rrjedhin pjesërisht nga tokenizimi më i mirë i numrave. Tokenizimi i dobët mund të fragmentojë njësitë logjike, duke i bërë modele të caktuara artificialisht të vështira për t'u mësuar.
Modelet në nivel karakteri janë shumë të ngadalta dhe jopraktike për aplikime reale.
Ndërsa historikisht kjo është e vërtetë për transformatorët e bazuar në vëmendje, arkitekturat më të reja si Mamba dhe modele të ndryshme të hapësirës së gjendjes trajtojnë sekuenca të gjata në mënyrë më efikase. ByT5 demonstroi performancë konkurruese në rrjedhën e poshtme me përpunim të pastër në nivel bajtesh në vitin 2022.
Fjalorët më të mëdhenj të tokenizatorëve janë gjithmonë më të mirë.
Fjalorët e tepërt rrisin memorien e matricës së ngulitur dhe mund të fragmentojnë fjalët e zakonshme në mënyrë të panevojshme. Madhësia optimale balancon granularitetin e përfaqësimit kundrejt kapacitetit të modelit, zakonisht duke rënë midis 32K dhe 100K për shumicën e aplikacioneve.
Përpunimi i tekstit të papërpunuar do të thotë që modelet e kuptojnë tekstin më 'natyrshëm' si njerëzit.
Të dyja qasjet janë konstrukte artificiale, shumë larg përpunimit të gjuhës njerëzore. Njerëzit nuk lexojnë bajt pas bajt - ne shfrytëzojmë dekada të tëra njohurish gjuhësore dhe botërore. Argumenti i 'natyrshmërisë' është mashtrues për të dyja paradigmat.
Tokenizimi është një problem i zgjidhur me praktikat më të mira të vendosura.
Hulumtimi aktiv vazhdon të sfidojë supozimet. Metoda si tokenizimi i Unigram-it, kodimet e mësuara në nivel bajtesh dhe puna e kohëve të fundit mbi tokenizimin e diferencueshëm sugjerojnë se fusha mbetet e hapur. Çdo model i madh shpesh eksperimenton me strategjinë e tokenizimit.
Zgjidhni dizajnin e tokenizuesit për prodhimin e modeleve të mëdha gjuhësore ku efikasiteti llogaritës dhe mjetet e zhvilluara kanë më shumë rëndësi. Zgjidhni përpunimin e tekstit të papërpunuar kur ndërtoni sisteme të fuqishme për mjedise shumëgjuhëshe, kur trajtoni tekst të zhurmshëm të botës reale ose kur hulumtoni aftësitë themelore të modelit të pavarura nga artefaktet e përpunimit paraprak.
Agregimi i preferencave kombinon preferenca të shumta individuale në vendime kolektive, ndërsa modelimi i parashikimit individual parashikon sjelljen personale duke përdorur të mësuarit automatik në të dhënat e një përdoruesi të vetëm. Të dyja shërbejnë për qëllime të dallueshme në sistemet e inteligjencës artificiale, nga motorët e rekomandimeve deri te platformat demokratike të votimit.
Ky krahasim arkitektonik vë në kontrast inxhinierinë deterministe të Agjentëve të Bazuar në Rregulla me natyrën adaptive të të dhënave të Agjentëve të Bazuar në Mësim, duke vlerësuar zbatueshmërinë e tyre në botën reale, kufijtë e shkallëzimit dhe performancën në kushte pasigurie.
Ky udhëzues i detajuar shqyrton ndryshimet strukturore dhe operacionale midis agjentëve autonomë dhe sistemeve të automatizimit të skriptuar. Ndërsa mjetet e skriptuara ofrojnë parashikueshmëri të pakrahasueshme për rrjedha pune të ngurta dhe përsëritëse, agjentët inteligjentë modernë shfrytëzojnë arsyetimin kognitiv për të lundruar në mënyrë të pavarur në të dhëna të ndryshueshme, pengesa teknike të papritura dhe peizazhe të dhënash shumë komplekse dhe të pastrukturuara.
Agjentët autonomë të IA-së veprojnë në mënyrë të pavarur duke planifikuar, arsyetuar dhe ekzekutuar detyra shumë-hapëshe me ndërhyrje minimale njerëzore, ndërsa sistemet e IA-së të bazuara në shpejtësi u përgjigjen udhëzimeve individuale të përdoruesit, një ndërveprim në të njëjtën kohë. Dallimi kryesor qëndron në agjenci: agjentët ndjekin qëllimet nëpër seanca, ndërsa sistemet e shpejtësisë presin për drejtim.
Agjentët bisedorë përqendrohen në dialogun natyror dhe ndërveprimet e bazuara në tekst, ndërsa agjentët që përdorin mjete zgjerojnë aftësitë e IA-së duke thirrur funksione dhe API të jashtme. Të dy përfaqësojnë qasje të dallueshme ndaj sistemeve autonome të IA-së, me modelet bisedore që shkëlqejnë në komunikim dhe agjentët që përdorin mjete të specializuar në ekzekutimin e detyrave në botën reale.
