Baitipaaride kodeerimine ja WordPiece on kaks laialdaselt kasutatavat alamsõnade tokeniseerimisalgoritmi, mis toetavad tänapäevaseid keelelise keele õpimudeleid ja erinevad peamiselt selle poolest, kuidas nad treeningu ajal tokeneid ühendavad ja nende hindamismõõdikud on.
Alamsõnade tokeniseerimise algoritm, mis iteratiivselt ühendab kõige sagedasemad külgnevad tähemärkide paarid uuteks tokeniteks.
Alamsõnade tokeniseerimismeetod, mis ühendab toone pigem tõenäosuse maksimeerimise kui toore sageduse alusel.
| Funktsioon | Baitipaari kodeering | WordPiece'i tokeniseerimine |
|---|---|---|
| Ühendamiskriteerium | Külgnevate paaride sagedus | Treeningandmete tõenäosus |
| Peamised kasutusjuhud | GPT seeria, RoBERTa, CLIP | BERT, DistilBERT, ALBERT |
| Sõnavara initsialiseerimine | Üksikud tähemärgid või baidid | Üksikud tegelased |
| Haruldaste sõnade käsitlemine | Jagub sagedasteks alamsõnaüksusteks | Tõenäosuspõhisel segmenteerimisel põhinevad jaotused |
| Treeningu kiirus | Üldiselt kiirem tänu lihtsale loendamisele | Tõenäosusarvutuse tõttu veidi aeglasem |
| Märgi väljundi stiil | Sageli detailsem | Levinud sõnade puhul sageli konsolideeritum |
| Algne arendus | 1994 kokkusurumisena; 2016 NLP jaoks | Google'i kõnetuvastuse meeskond |
BPE läheneb tokeniseerimisele kui tihendusprobleemile, ühendades ahnelt kõiki treeningkorpuses kõige sagedamini esinevaid paare. See otsekohene sageduspõhine lähenemine muudab selle intuitiivseks ja suhteliselt kiireks arvutamiseks. WordPiece valib tõenäosuslikuma nurga, küsides, milline ühendamine muudaks treeningandmed unigrammkeele mudeli eelduse kohaselt kõige tõenäolisemaks. See peen nihe raamimises viib erinevate tokenite piirideni, eriti morfoloogiliselt rikaste keelte puhul.
Kuna BPE jälgib ainult sagedust, jagab see mõnikord sõnu keeleliselt ebaloomulikes kohtades, kui need juhtuvad olema andmetes levinud mustrid. WordPiece'i tõenäosuspõhine lähenemine kipub morfeemide piire paremini austama, luues märke, mis on paremini kooskõlas tähendusrikaste üksustega. Inglise keeles toimivad mõlemad meetodid sarnaselt, kuid erinevus on selgem rikkama morfoloogiaga keeltes, näiteks saksa või türgi keeles.
Nende tokenisaatorite valik sõltub sageli kasutatavast mudeli arhitektuurist, mitte algoritmi enda sügavast eelistusest. OpenAI GPT-perekond standardiseeritult põhineb BPE-l, seega pärib igaüks, kes neid mudeleid peenhäälestab või juurutab, selle tokeniseerimisskeemi. Google'i BERT-ökosüsteem kinnistas WordPiece'i kui de facto valiku ainult kodeerijatel põhinevate transformaatormudelite jaoks. See ökosüsteemi kinnistumine tähendab, et praktikud vahetavad tokenisaatoreid harva mudeli arhitektuuridest sõltumatult.
Mõlemad algoritmid näevad teatud ääremärkidega vaeva, kuid erineval moel. BPE võib olla tühikute ja kirjavahemärkidega habras, tekitades mõnikord ootamatuid märke, kui vormindus varieerub. WordPiece lisab tavaliselt spetsiaalse eesliite sümboli (nagu ## BERT-is), et tähistada jätkuvaid alamsõnu, mis muudab algse teksti rekonstrueerimise selgemaks, kuid toob kaasa ka tokeniseerimise artefakte, millega järgnevad mudelid peavad õppima toime tulema.
Viimastel aastatel on mõlemast algoritmist kaugemale jõutud märkimisväärselt. SentencePiece pakub ühtset raamistikku, mis suudab rakendada BPE, WordPiece'i või unigrammkeele mudeli tokeniseerimist ühe teegiga. Baiditasemel BPE (kasutatakse GPT-2-s) töötab toores baitides, mitte Unicode'i märkidega, kõrvaldades tundmatute tokenite probleemid täielikult. Samal ajal lisavad uuemad lähenemisviisid, nagu BPE väljalangemine, treeningu ajal stohhastilisust, et parandada töökindlust. Need arengud näitavad, et kuigi BPE ja WordPiece jäävad alustalaks, jätkab valdkond edasiarendamist.
BPE ja WordPiece loovad sama teksti jaoks alati erinevad tokeniseeringud.
Paljude levinud ingliskeelsete sõnade puhul koonduvad mõlemad algoritmid tegelikult identsetele või peaaegu identsetele segmentidele. Erinevused tulevad ilmsemaks haruldaste sõnade, morfoloogiliselt keerukate terminite ja keelte puhul, millel on inglise keelest rikkamad käändemustrid.
WordPiece kasutab tokeniseerimise ajal närvivõrku.
Vaatamata kasutamisele närvimudelites on WordPiece ise täiesti mitte-närvipõhine. Tõenäosusarvutus põhineb lihtsal unigrammi sagedusstatistikal, mitte ühelgi õpitud närviesitusel. WordPiece'i "keelemudel" on lihtsalt sagedustabel, mitte transformaator ega rekurrentne võrgustik.
BPE ei suuda hakkama saada suurte tähemärkidega keeltega nagu hiina keel.
Baiditasemel BPE lahendab selle probleemi, töötades tooreste UTF-8 baitide, mitte märkide põhjal. See tähendab, et see suudab esitada mis tahes Unicode'i teksti ilma tundmatute märkidega kokku puutumata, kuigi tuhandete märkide puhul võib selleks vaja minna rohkem märke.
Tokenisaatori valik mõjutab oluliselt mudeli jõudlust allavoolu ülesannete puhul.
Kuigi tokeniseerimine on oluline, on mudeli arhitektuur ja treeningandmete skaala tavaliselt vähem olulised kui tokenisaatori valik. Uuringud on näidanud, et BPE ja WordPiece toimivad võrreldavalt, kui kõik muud tegurid on võrdsed, kusjuures erinevused on tavaliselt väikesed ja ülesandest sõltuvad.
WordPiece leiutati spetsiaalselt BERTi jaoks.
WordPiece on mitu aastat vanem kui BERT. Google arendas selle algselt välja jaapani ja korea häälotsingu jaoks 2010. aastate alguses ning kohandas seda hiljem närvimasintõlke jaoks enne, kui see üldse BERT-is ilmus. Seos BERT-iga on tugev lihtsalt seetõttu, et BERT tegi selle NLP-uurijate kogukonnas kuulsaks.
BPE sõnavara suurus ei ole oluline, kui see on piisavalt suur.
Sõnavara suurus mõjutab oluliselt nii mudeli jõudlust kui ka arvutuslikku efektiivsust. Liiga väike suurus raiskab mudeli võimsust pikkade märgijadade peale. Liiga suur suurus muudab maatriksite manustamise kohmakaks, samas kui haruldased märgid saavad halva esituse. Enamik praktikuid häälestab seda hüperparameetrit hoolikalt, jäädes tavaliselt vahemikku 30 000 kuni 50 000 märki.
Valige BPE, kui töötate GPT-stiilis mudelitega või kui vajate lihtsat ja kiiret tokeniseerimist, mis käsitleb mitmekesist teksti, sealhulgas koodi ja mitmekeelseid andmeid. Valige WordPiece, kui ehitate BERT-põhistele arhitektuuridele või kui soovite tokenite piire, mis on paremini kooskõlas keeleliste morfeemidega. Enamiku praktikute jaoks langetab otsuse sisuliselt teie valitud eelkoolitatud mudel.
Mudeliteenuse A/B-testimine suunab liiklust konkureerivate mudeliversioonide vahel, et mõõta reaalset toimivust, samas kui ühe mudeli juurutamine saadab kõigile kasutajatele ühe mudeli. Meeskonnad valivad nende vahel riskitaluvuse, liiklusmahu ja statistilise valideerimise vajaduse alusel enne täielikku juurutamist.
Sisuväljaannete A/B-testimine hõlmab variatsioonide levitamist erinevatele sihtrühmadele ja tulemuslikkuse mõõtmist, samas kui ühekordsed sisuväljaanded suunavad ühe versiooni korraga kõigile. Igal lähenemisviisil on erinevad eesmärgid, kusjuures A/B-testimine eelistab andmepõhist optimeerimist ja ühekordsed väljaanded seavad esikohale kiiruse ja lihtsuse.
See detailne võrdlus uurib adaptiivsete intelligentsete mootorite arhitektuurilisi erinevusi, operatsioonilisi piiranguid ja reaalset jõudlust võrreldes fikseeritud käitumisega automatiseerimissüsteemidega. Vaatleme, kuidas süsteemid, mis pidevalt õpivad uutest keskkonnaandmetest, sobivad kokku jäikade ja ennustatavate reeglipõhiste raamistikega.
Adaptiivne otsing kohandab dünaamiliselt, kuidas ja millist teavet süsteem päringu põhjal hangib, samas kui staatilised otsingukanalid järgivad fikseeritud reegleid olenemata kontekstist. Mõlemad toetavad tänapäevaseid tehisintellekti rakendusi, kuid erinevad oluliselt paindlikkuse, maksumuse ja täpsuse poolest. Nende vahel valimine sõltub töökoormuse keerukusest ja eelarvest.
Agentide koolitamine keskkondades hõlmab õppimist reaalajas simuleeritud või füüsilise keskkonnaga suhtlemise kaudu, samas kui võrguühenduseta andmestiku koolitamine tugineb eelnevalt kogutud andmetele ilma täiendava keskkonnale juurdepääsuta. Mõlemad lähenemisviisid treenivad masinõppe mudeleid, kuid erinevad põhimõtteliselt selle poolest, kuidas agendid kogemusi koguvad ja jõudlust parandavad.
