Byte Pair Encoding en WordPiece zijn twee veelgebruikte algoritmen voor het tokeniseren van subwoorden die de basis vormen voor moderne NLP-modellen. Ze verschillen voornamelijk in de manier waarop ze tokens samenvoegen tijdens de training en in hun scoringscriteria.
Een algoritme voor het tokeniseren van subwoorden dat iteratief de meest voorkomende aangrenzende tekenparen samenvoegt tot nieuwe tokens.
Een methode voor het tokeniseren van subwoorden die tokens samenvoegt op basis van waarschijnlijkheidsmaximalisatie in plaats van ruwe frequentie.
| Functie | Byte Pair Encoding | WordPiece-tokenisatie |
|---|---|---|
| Samenvoegingscriterium | Frequentie van aangrenzende paren | Waarschijnlijkheid van trainingsgegevens |
| Belangrijkste gebruiksscenario's | GPT-serie, RoBERTa, CLIP | BERT, DistillBERT, ALBERT |
| Woordenschatinitialisatie | Individuele tekens of bytes | Individuele personages |
| Omgaan met zeldzame woorden | Splitst zich op in veelvoorkomende subwoordeenheden | Splitsingen op basis van waarschijnlijkheidsgebaseerde segmentatie |
| Trainingssnelheid | Over het algemeen sneller door simpelweg te tellen. | Iets trager vanwege de waarschijnlijkheidsberekening. |
| Token-uitvoerstijl | Vaak gedetailleerder | Vaak meer geconsolideerd voor veelvoorkomende woorden. |
| Originele ontwikkeling | 1994 als compressie; 2016 voor NLP | Google Spraakherkenningsteam |
BPE benadert tokenisatie als een compressieprobleem, waarbij op een gierige manier de paren worden samengevoegd die het vaakst voorkomen in het trainingscorpus. Deze eenvoudige, op frequentie gebaseerde aanpak maakt het intuïtief en relatief snel te berekenen. WordPiece kiest voor een meer probabilistische benadering en vraagt zich af welke samenvoeging de trainingsdata het meest waarschijnlijk zou maken onder de aanname van een unigram-taalmodel. Deze subtiele verschuiving in de benadering leidt tot andere tokengrenzen, met name voor morfologisch rijke talen.
Omdat BPE puur op frequentie is gebaseerd, splitst het soms woorden op taalkundig onnatuurlijke punten als die toevallig veelvoorkomende patronen in de data zijn. De op waarschijnlijkheid gebaseerde aanpak van WordPiece respecteert morfeemgrenzen doorgaans beter, waardoor tokens worden geproduceerd die nauwer aansluiten bij betekenisvolle eenheden. Voor het Engels presteren beide methoden vergelijkbaar, maar het verschil wordt duidelijker in talen met een rijkere morfologie zoals Duits of Turks.
De keuze tussen deze tokenizers hangt vaak meer af van de gebruikte modelarchitectuur dan van een uitgesproken voorkeur voor het algoritme zelf. De GPT-familie van OpenAI is gestandaardiseerd op BPE, waardoor iedereen die deze modellen finetunt of implementeert, dit tokenisatieschema overneemt. Het BERT-ecosysteem van Google heeft WordPiece gevestigd als de de facto keuze voor transformermodellen die alleen een encoder gebruiken. Deze verankering binnen het ecosysteem betekent dat ontwikkelaars zelden van tokenizer wisselen, ongeacht de modelarchitectuur.
Beide algoritmen hebben moeite met bepaalde uitzonderingen, maar op verschillende manieren. BPE kan gevoelig zijn voor witruimte en leestekens, waardoor soms onverwachte tokens ontstaan wanneer de opmaak varieert. WordPiece voegt doorgaans een speciaal voorvoegselsymbool toe (zoals ## in BERT) om vervolgwoorden aan te geven. Dit maakt het reconstrueren van de oorspronkelijke tekst explicieter, maar introduceert ook tokenisatie-artefacten waarmee latere modellen moeten leren omgaan.
De afgelopen jaren hebben we een aanzienlijke evolutie gezien die verder gaat dan beide algoritmen. SentencePiece biedt een uniform raamwerk waarmee BPE, WordPiece of unigram-taalmodeltokenisatie met één enkele bibliotheek kan worden geïmplementeerd. Byte-level BPE (gebruikt in GPT-2) werkt met ruwe bytes in plaats van Unicode-tekens, waardoor problemen met onbekende tokens volledig worden geëlimineerd. Ondertussen introduceren nieuwere benaderingen zoals BPE-dropout stochasticiteit tijdens de training om de robuustheid te verbeteren. Deze ontwikkelingen laten zien dat, hoewel BPE en WordPiece fundamenteel blijven, het vakgebied zich blijft ontwikkelen.
BPE en WordPiece produceren altijd verschillende tokenisaties voor dezelfde tekst.
Voor veel voorkomende Engelse woorden komen beide algoritmes feitelijk tot identieke of bijna identieke segmentaties. De verschillen worden duidelijker bij zeldzame woorden, morfologisch complexe termen en in talen met rijkere verbuigingspatronen dan het Engels.
WordPiece maakt tijdens de tokenisatie gebruik van een neuraal netwerk.
Ondanks het gebruik ervan in neurale modellen, is WordPiece zelf volledig niet-neuraal. De waarschijnlijkheidsberekening is gebaseerd op eenvoudige unigramfrequentiestatistieken, niet op een aangeleerde neurale representatie. Het 'taalmodel' in WordPiece is slechts een frequentietabel, geen transformer- of recurrent netwerk.
BPE kan geen talen met grote tekensets zoals Chinees verwerken.
Byte-level BPE pakt dit specifiek aan door te werken met ruwe UTF-8-bytes in plaats van tekens. Dit betekent dat het elke Unicode-tekst kan weergeven zonder ooit een onbekend teken tegen te komen, hoewel er mogelijk meer tokens nodig zijn voor scripts met duizenden tekens.
De keuze van de tokenizer heeft een aanzienlijke invloed op de modelprestaties bij vervolgtaken.
Hoewel tokenisatie belangrijk is, zijn de modelarchitectuur en de schaal van de trainingsdata doorgaans veel belangrijker dan de keuze van de tokenizer. Studies hebben aangetoond dat BPE en WordPiece vergelijkbaar presteren wanneer alle andere factoren gelijk zijn, waarbij de verschillen meestal klein en taakafhankelijk zijn.
WordPiece is speciaal voor BERT ontwikkeld.
WordPiece bestond al enkele jaren vóór BERT. Google ontwikkelde het aanvankelijk voor spraakgestuurd zoeken in het Japans en Koreaans in het begin van de jaren 2010, en paste het later aan voor neurale machinevertaling voordat het ooit in BERT verscheen. De associatie met BERT is sterk, simpelweg omdat BERT het bekendheid heeft gegeven binnen de NLP-onderzoeksgemeenschap.
De omvang van de BPE-woordenschat is niet belangrijk, zolang deze maar groot genoeg is.
De omvang van de woordenschat heeft een aanzienlijke invloed op zowel de modelprestaties als de rekenkundige efficiëntie. Is de woordenschat te klein, dan verspilt het model capaciteit aan lange reeksen tokens. Is de woordenschat te groot, dan worden de embeddingmatrices onhandelbaar en krijgen zeldzame tokens een slechte representatie. De meeste ontwikkelaars stemmen deze hyperparameter zorgvuldig af, meestal tussen de 30.000 en 50.000 tokens.
Kies BPE wanneer u werkt met GPT-achtige modellen of wanneer u eenvoudige, snelle tokenisatie nodig hebt die diverse tekstsoorten aankan, waaronder code en meertalige data. Kies voor WordPiece wanneer u voortbouwt op BERT-gebaseerde architecturen of wanneer u tokengrenzen wilt die beter aansluiten bij taalkundige morfemen. Voor de meeste gebruikers wordt de keuze in feite bepaald door het voorgegetrainde model dat u selecteert.
A/B-testen bij contentreleases houdt in dat varianten worden uitgerold naar verschillende doelgroepen en de prestaties worden gemeten, terwijl bij eenmalige contentreleases één versie in één keer naar iedereen wordt verzonden. Beide benaderingen zijn geschikt voor verschillende doelen: A/B-testen bevorderen datagestuurde optimalisatie, terwijl eenmalige releases prioriteit geven aan snelheid en eenvoud.
A/B-testen bij het serveren van modellen leiden het verkeer tussen concurrerende modelversies om de prestaties in de praktijk te meten, terwijl bij de implementatie van één model één model naar alle gebruikers wordt verzonden. Teams kiezen tussen beide methoden op basis van risicotolerantie, verkeersvolume en de behoefte aan statistische validatie vóór de volledige uitrol.
Aanbevelingssystemen en zoekmachines helpen gebruikers allebei relevante content te vinden, maar ze werken op fundamenteel verschillende manieren. Zoekmachines reageren op expliciete zoekopdrachten, terwijl aanbevelingssystemen anticiperen op behoeften op basis van gedragspatronen. Inzicht in deze verschillen helpt te verduidelijken hoe moderne informatieontdekking daadwerkelijk werkt.
Aanbevelingssystemen suggereren proactief gepersonaliseerde items op basis van gebruikersgedrag en -voorkeuren, terwijl zoekmachines relevante resultaten ophalen als reactie op expliciete gebruikersvragen met behulp van indexerings- en rangschikkingsalgoritmen.
Menselijke aandacht is een flexibel cognitief systeem dat zintuiglijke input filtert op basis van doelen, emoties en overlevingsbehoeften, terwijl AI-aandachtsmechanismen wiskundige raamwerken zijn die input-tokens dynamisch wegen om de voorspellingskracht en het contextbegrip in machine learning-modellen te verbeteren. Beide systemen geven prioriteit aan informatie, maar ze werken volgens fundamenteel verschillende principes en beperkingen.
