Duomenimis pagrįstas tokenizavimas išmoksta skaidymo taisykles iš didelių teksto korpusų naudodamas statistinius arba neuroninius metodus, o taisyklėmis pagrįstas tokenizavimas remiasi rankomis sukurtais lingvistiniais modeliais ir žodynais. Abu metodai skaido tekstą į prasmingus vienetus, tačiau jie labai skiriasi lankstumu, tikslumu ir skaičiavimo reikalavimais.
Mašininio mokymosi metodas, kuris automatiškai atranda žetonų ribas analizuodamas didelių teksto duomenų rinkinių modelius.
Tradicinis metodas, kai tekstas skaidomas naudojant iš anksto nustatytas kalbines taisykles, reguliariąsias išraiškas ir kuruojamus žodžių sąrašus.
| Funkcija | Duomenimis pagrįstas žetonų generavimas | Taisyklėmis pagrįstas žetonų kūrimas |
|---|---|---|
| požiūris | Mokosi iš didelių tekstinių korpusų, naudodamas statistinius arba neuroninius metodus | Naudoja rankomis sukurtas taisykles, reguliariųjų išraiškų šablonus ir žodynus |
| Reikalingas mokymas | Taip, reikia daug anotuotų arba neapdorotų tekstinių duomenų | Ne, taisykles kūrėjai rašo rankiniu būdu |
| Nežinomų žodžių tvarkymas | Suskaido retus žodžius į žinomus šalutinius žodžių vienetus | Dažnai nepavyksta arba reikia rankiniu būdu atnaujinti žodyną |
| Aiškinamasis aspektas | Mažesnis, nes išmokti modeliai yra įterpti į modelio svorius | Aukšta, kiekvieną taisyklę galima perskaityti ir patikrinti |
| Prisitaikymas prie naujų kalbų | Lengvai perkvalifikuojamas naudojant naujus korpusus | Reikia kurti naujus taisyklių rinkinius nuo nulio |
| Skaičiavimo kaina | Didesnis treniruočių metu, greitas išvados darymo metu | Žemas bendras vaizdas, veikia su minimaliu aparatinės įrangos poreikiu |
| Įprasti algoritmai | BPE, „WordPiece“, „Unigram LM“, „SentencePiece“ | Reguliariųjų išraiškų skaidymas, afiksų pašalinimas, žodyno paieška |
| Naudotas iki | GPT, BERT, RoBERTa, T5 ir dauguma šiuolaikinių LLM | NLTK, „spaCy“ taisyklių srautai, senosios NLP sistemos |
Duomenimis pagrįsti žetonų generatoriai analizuoja dažnių modelius milijonuose sakinių, kad nuspręstų, kur baigiasi vienas žetonas, o prasideda kitas. Pavyzdžiui, BPE pradeda nuo atskirų simbolių ir pakartotinai sujungia dažniausias gretimas poras, kol pasiekiamas tikslinis žodyno dydis. Tuo tarpu taisyklėmis pagrįsti žetonų generatoriai taiko fiksuotą operacijų seką, pvz., skaidymą pagal tarpus, skyrybos ženklų šalinimą arba priesagų, tokių kaip „-ing“ ir „-ed“, pašalinimą, remiantis iš anksto nustatytomis morfologinėmis lentelėmis.
Vienas didžiausių duomenimis pagrįstų metodų privalumų yra grakštus žodžių, kurių modelis niekada nematė, tvarkymas. Retas medicininis terminas, pvz., „pneumonoultramikroskopinė silikovulkanokoniozė“, yra suskaidomas į pažįstamus potekstės fragmentus, kuriuos modelis jau supranta. Taisyklėmis pagrįstos sistemos paprastai aptinka tokius žodžius, palikdamos juos kaip vieną per didelį raktą arba visiškai išmesdamos, nebent kas nors rankiniu būdu juos įtraukia į žodyną.
Taisyklėmis pagrįsti tokenizeriai laimi dėl skaidrumo. Kūrėjas gali atidaryti taisyklių failą, tiksliai perskaityti, kaip tekstas yra skaidomas, ir atsekti bet kokią netikėtą išvestį iki konkretaus šablono. Duomenimis pagrįsti tokenizeriai elgiasi labiau kaip juodosios dėžės, kur ta pati įvestis visada sukuria tą pačią išvestį, tačiau norint paaiškinti, kodėl buvo pasirinktas konkretus skaidymas, reikia patikrinti mokymo statistiką arba modelio vidines funkcijas.
Duomenimis pagrįsto tokenizerio mokymui reikia daug skaičiavimo ir saugyklos išteklių, dažnai apdorojant dešimtis gigabaitų teksto, kad būtų sukurtas kokybiškas žodynas. Apmokytas, išvados daromos greitai, o tokenizerio failas yra mažas. Taisyklėmis pagrįstiems tokenizeriams sukurti ar paleisti beveik nereikia išteklių, todėl jie patrauklūs mažo delsos sistemoms, įterptiesiems įrenginiams arba projektams, kuriuose nėra mokymo infrastruktūros.
Duomenimis pagrįsti metodai natūraliai pritaikomi naujoms kalboms, tiesiog perkvalifikuojant juos naujame korpuse, todėl daugiakalbiai modeliai, tokie kaip XLM-Roberta, gali aprėpti dešimtis kalbų vienu tokenizeriu. Taisyklėmis pagrįstos sistemos reikalauja lingvistinės patirties kiekvienai naujai kalbai, nes afiksų taisykles, simbolių klases ir žodžių sąrašus turi kurti žmogus, gerai išmanantis morfologiją.
Šiuolaikinėse NLP užduotyse duomenimis pagrįsti tokenizeriai nuolat pranoksta taisyklėmis pagrįstus lyginamuosius testus, kuriuose dalyvauja triukšmingas tekstas, socialinė žiniasklaida ar kodas. Taisyklėmis pagrįsti tokenizeriai vis dar laikosi gerai struktūrizuotose srityse, tokiose kaip teisiniai dokumentai ar formalus rašymas, kur nuspėjamas skaidymas ir žmonėms skaitomos taisyklės yra svarbesnės nei kraštutinių atvejų tvarkymas.
Taisyklėmis pagrįstas tokenizavimas yra pasenęs ir nebenaudojamas šiuolaikiniame dirbtiniame intelekte.
Taisyklėmis pagrįsti tokenizeriai išlieka įprasti gamybiniuose NLP srautuose, ypač atliekant išankstinio apdorojimo veiksmus, tokius kaip sakinių skaidymas, normalizavimas ir kalbos aptikimas. Daugelyje šiuolaikinių sistemų derinami taisyklėmis pagrįsti ir duomenimis pagrįsti metodai, o ne keičiami vienas kitu.
Duomenimis pagrįstas tokenizavimas visada duoda geresnių rezultatų nei taisyklėmis pagrįsti metodai.
Kokybė labai priklauso nuo mokymo korpuso ir užduoties. Prastai apmokytas duomenimis pagrįstas tokenizeris gali veikti blogiau nei gerai suderintas taisyklėmis pagrįstas, ypač dirbant su konkrečiai sričiai skirtu tekstu, kai mokymo duomenys neatitinka tikslinio skirstinio.
Tokenizavimas yra tiesiog teksto padalijimas tarpais.
Realaus pasaulio tokenizeriai tvarko skyrybos ženklus, trumpinius, daugiažodžius posakius, jaustukus ir subžodžių vienetus. Paprastas tarpų padalijimas praleidžia didžiąją dalį sudėtingumo, kurį tokenizeriai yra skirti išspręsti.
Kartą apmokyto duomenimis pagrįsto tokenizerio niekada nereikia atnaujinti.
Žodynas kinta kalbai vystantis, atsirandant naujam slengui ir konkrečioms sritims būdingiems terminams. Daugelis komandų periodiškai perkvalifikuoja arba plečia savo tokenizerius, kad neatsiliktų nuo kintančio teksto pasiskirstymo.
Visi šiuolaikiniai LLM naudoja tą patį tokenizerį.
Skirtingos modelių šeimos naudoja skirtingas žetonų išrašymo schemas. GPT modeliai naudoja BPE, BERT – WordPiece, o T5 – SentencePiece. Šie pasirinkimai išmatuojamais būdais turi įtakos žodyno dydžiui, žetonų skaičiui ir tolesniam našumui.
Kurdami modernias NLP arba LLM sistemas, kurios turi apdoroti įvairų žodyną, kelias kalbas arba triukšmingą realaus pasaulio tekstą, rinkitės duomenimis pagrįstą tokenizaciją. Rinkitės taisyklėmis pagrįstą tokenizaciją, kai jums reikia visiško skaidrumo, minimalių skaičiavimo išteklių arba dirbate siauroje srityje, kur rankomis sukurtos taisyklės jau gerai apima kalbą.
„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.
„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.
„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.
„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.
A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.
