Ang Byte Pair Encoding at WordPiece ay dalawang malawakang ginagamit na subword tokenization algorithm na nagpapagana sa mga modernong modelo ng NLP, na pangunahing nagkakaiba sa kung paano nila pinagsasama ang mga token habang nagsasanay at sa kanilang mga sukatan ng pagmamarka.
Isang algorithm ng subword tokenization na paulit-ulit na pinagsasama ang mga pinakamadalas na magkatabing pares ng karakter sa mga bagong token.
Isang paraan ng subword tokenization na pinagsasama ang mga token batay sa likelihood maximization sa halip na raw frequency.
| Tampok | Pag-encode ng Pares ng Byte | Tokenisasyon ng WordPiece |
|---|---|---|
| Pamantayan ng Pagsasama | Dalas ng mga katabing pares | Posibilidad ng datos ng pagsasanay |
| Pangunahing mga Kaso ng Paggamit | Serye ng GPT, RoBERTa, CLIP | BERT, DistilBERT, ALBERT |
| Pagsisimula ng Bokabularyo | Mga indibidwal na karakter o byte | Mga indibidwal na karakter |
| Paghawak ng mga Bihirang Salita | Nahahati sa mga yunit ng subword na madalas gamitin | Mga paghahati batay sa segmentasyon batay sa posibilidad |
| Bilis ng Pagsasanay | Karaniwang mas mabilis dahil sa simpleng pagbibilang | Medyo mas mabagal dahil sa pagkalkula ng posibilidad |
| Estilo ng Paglabas ng Token | Kadalasang mas detalyado | Kadalasang mas pinagtibay para sa mga karaniwang salita |
| Orihinal na Pag-unlad | 1994 bilang kompresyon; 2016 para sa NLP | Koponan ng Pagkilala sa Pagsasalita ng Google |
Tinatalakay ng BPE ang tokenization bilang isang problema sa compression, sakim na pinagsasama ang anumang pares na pinakamadalas na lumalabas sa training corpus. Ginagawang madaling maunawaan at medyo mabilis ang pagkalkula ng prangka at pamamaraang ito batay sa frequency. Mas probabilistikong anggulo ang ginagamit ng WordPiece, na tinatanong kung aling merge ang gagawing malamang ang training data sa ilalim ng isang unigram language model assumption. Ang banayad na pagbabagong ito sa framing ay humahantong sa iba't ibang token boundaries, lalo na para sa mga wikang mayaman sa morpolohiya.
Dahil ang BPE ay puro frequency lamang ang hinahanap, minsan ay hinahati nito ang mga salita sa mga puntong hindi natural sa wika kung ang mga iyon ay karaniwang mga padron sa datos. Ang pamamaraang nakabatay sa posibilidad ng WordPiece ay may posibilidad na mas igalang ang mga hangganan ng morpema, na lumilikha ng mga token na mas malapit sa mga makabuluhang yunit. Para sa Ingles, ang parehong pamamaraan ay gumaganap nang magkatulad, ngunit ang pagkakaiba ay nagiging mas kapansin-pansin sa mga wikang may mas mayamang morpolohiya tulad ng Aleman o Turko.
Ang pagpili sa pagitan ng mga tokenizer na ito ay kadalasang nakasalalay sa kung aling arkitektura ng modelo ang iyong ginagamit sa halip na sa isang malalim na kagustuhan para sa mismong algorithm. Ang pamilyang GPT ng OpenAI ay naka-standardize sa BPE, kaya sinumang nag-aayos o nagde-deploy ng mga modelong ito ay magmamana ng iskema ng tokenization na iyon. Pinagtibay ng BERT ecosystem ng Google ang WordPiece bilang de facto na pagpipilian para sa mga modelo ng transformer na encoder-only. Ang pagkakatatag ng ecosystem na ito ay nangangahulugan na ang mga practitioner ay bihirang magpalit ng mga tokenizer nang hiwalay sa mga arkitektura ng modelo.
Parehong nahihirapan ang parehong algorithm sa ilang mga edge case, ngunit sa magkaibang paraan. Ang BPE ay maaaring maging malutong sa whitespace at bantas, kung minsan ay lumilikha ng mga hindi inaasahang token kapag nag-iiba ang format. Karaniwang nagdaragdag ang WordPiece ng isang espesyal na simbolo ng prefix (tulad ng ## sa BERT) upang ipahiwatig ang mga subword ng pagpapatuloy, na ginagawang mas malinaw ang muling pagbuo ng orihinal na teksto ngunit nagpapakilala rin ng mga artifact ng tokenization na dapat matutunang pangasiwaan ng mga downstream na modelo.
Nakasaksi ang mga nakaraang taon ng makabuluhang ebolusyon na higit pa sa parehong algorithm. Nag-aalok ang SentencePiece ng isang pinag-isang balangkas na maaaring magpatupad ng BPE, WordPiece, o unigram language model tokenization gamit ang isang library. Ang byte-level na BPE (ginagamit sa GPT-2) ay gumagana sa mga raw bytes sa halip na mga Unicode character, na tuluyang nag-aalis ng mga hindi kilalang isyu sa token. Samantala, ang mga mas bagong pamamaraan tulad ng BPE-dropout ay nagpapakilala ng stochasticity sa panahon ng pagsasanay upang mapabuti ang robustness. Ipinapakita ng mga pag-unlad na ito na habang ang BPE at WordPiece ay nananatiling pundasyon, ang larangan ay patuloy na sumusulong.
Ang BPE at WordPiece ay palaging gumagawa ng iba't ibang tokenization para sa parehong teksto.
Para sa maraming karaniwang salitang Ingles, ang parehong algorithm ay aktwal na nagtatagpo sa magkapareho o halos magkaparehong mga segmentasyon. Ang mga pagkakaiba ay nagiging mas malinaw sa mga bihirang salita, mga terminong may kumplikadong morpolohiya, at sa mga wikang may mas mayamang mga padron ng infleksyon kaysa sa Ingles.
Gumagamit ang WordPiece ng neural network sa panahon ng tokenization.
Sa kabila ng paggamit nito sa mga neural model, ang WordPiece mismo ay ganap na hindi neural. Ang pagkalkula ng posibilidad ay batay sa mga simpleng istatistika ng dalas ng unigram, hindi sa anumang natutunang representasyon ng neural. Ang 'modelo ng wika' sa WordPiece ay isang frequency table lamang, hindi isang transformer o recurrent network.
Hindi kayang hawakan ng BPE ang mga wikang may malalaking karakter tulad ng Tsino.
Partikular na tinutugunan ito ng byte-level BPE sa pamamagitan ng pagpapatakbo sa mga raw UTF-8 bytes sa halip na mga character. Nangangahulugan ito na maaari nitong kumatawan sa anumang teksto ng Unicode nang hindi nakakatagpo ng isang hindi kilalang character, bagaman maaaring mangailangan ito ng mas maraming token para magawa ito para sa mga script na may libu-libong character.
Ang pagpili ng tokenizer ay may malaking epekto sa pagganap ng modelo sa mga gawain sa ibaba ng antas ng pagganap.
Bagama't mahalaga ang tokenization, ang arkitektura ng modelo at laki ng datos ng pagsasanay ay kadalasang nagpapababa sa kahalagahan ng pagpili ng tokenizer. Ipinakita ng mga pag-aaral na ang BPE at WordPiece ay gumaganap nang maihahambing kapag ang lahat ng iba pang mga salik ay pantay, na ang mga pagkakaiba ay karaniwang maliit at nakadepende sa gawain.
Ang WordPiece ay partikular na inimbento para kay BERT.
Nauna ang WordPiece sa BERT nang ilang taon. Una itong binuo ng Google para sa paghahanap gamit ang boses sa wikang Hapon at Koreano noong mga unang taon ng 2010s, pagkatapos ay inangkop ito para sa neural machine translation bago pa man ito lumabas sa BERT. Malakas ang kaugnayan nito sa BERT dahil lamang sa ginawa itong tanyag ng BERT sa komunidad ng pananaliksik sa NLP.
Hindi mahalaga ang laki ng bokabularyo ng BPE basta't sapat ang laki nito.
Malaki ang epekto ng laki ng bokabularyo kapwa sa pagganap ng modelo at kahusayan sa pagkalkula. Kapag napakaliit, nasasayang ang kapasidad ng modelo sa mahahabang sequence ng token. Kapag napakalaki, nagiging mahirap gamitin ang mga embedding matrice habang ang mga bihirang token ay hindi maganda ang representasyon. Maingat na inaayos ng karamihan sa mga practitioner ang hyperparameter na ito, karaniwang nasa pagitan ng 30,000 at 50,000 token.
Piliin ang BPE kapag gumagamit ng mga modelong istilong GPT o kapag kailangan mo ng simple at mabilis na tokenization na humahawak sa magkakaibang teksto kabilang ang code at multilingual na data. Pumili ng WordPiece kapag gumagamit ng mga arkitekturang nakabatay sa BERT o kapag gusto mo ng mga hangganan ng token na mas malapit na nakahanay sa mga linguistic morpheme. Para sa karamihan ng mga practitioner, ang desisyon ay epektibong ginagawa ng pre-trained model na iyong pipiliin.
Ang A/B testing sa mga paglabas ng nilalaman ay kinabibilangan ng paglulunsad ng mga pagkakaiba-iba sa iba't ibang segment ng madla at pagsukat ng pagganap, habang ang mga minsanang paglabas ng nilalaman ay naghahatid ng isang bersyon sa lahat nang sabay-sabay. Ang bawat pamamaraan ay umaangkop sa iba't ibang layunin, kung saan ang A/B testing ay pinapaboran ang data-driven na pag-optimize at ang mga minsanang paglabas ay inuuna ang bilis at pagiging simple.
Ang A/B testing sa model serving ay nagruruta ng trapiko sa pagitan ng mga magkakumpitensyang bersyon ng modelo upang masukat ang performance sa totoong buhay, habang ang single-model deployment ay nagpapadala ng isang modelo sa lahat ng user. Ang mga team ay pumipili sa pagitan ng mga ito batay sa risk tolerance, dami ng trapiko, at ang pangangailangan para sa statistical validation bago ang ganap na paglulunsad.
Ang adaptasyon ng wika sa AI ay nakatuon sa pagtuturo ng mga modelo upang pangasiwaan ang mga partikular na wika sa pamamagitan ng pagpino at paglilipat ng pagkatuto, habang ang mga sistemang AI na walang language-agnostic ay naglalayong iproseso ang anumang wika nang walang pagsasanay na partikular sa wika. Ang parehong pamamaraan ay tumutugon sa mga hamong multilingual ngunit may malaking pagkakaiba sa arkitektura, datos ng pagsasanay, at pag-deploy sa totoong mundo.
Sinusuri ng detalyadong paghahambing na ito ang mga pagkakaiba sa arkitektura, mga limitasyon sa operasyon, at totoong pagganap ng mga adaptive intelligence engine laban sa mga fixed behavior automation system. Sinusuri namin kung paano tumutugma ang mga sistemang patuloy na natututo mula sa mga bagong datos sa kapaligiran laban sa mga matibay at mahuhulaang balangkas na nakabatay sa mga tuntunin.
Ang paghahambing na ito ay nagpapaliwanag sa mga pangunahing pagkakaiba ng artipisyal na intelihensiya at awtomasyon, na nakatuon sa kung paano sila gumagana, anong mga problema ang kanilang nilulutas, ang kanilang kakayahang umangkop, kasalimuotan, gastos, at mga praktikal na kaso ng paggamit sa negosyo.
