Byte Pair Encoding und WordPiece sind zwei weit verbreitete Subword-Tokenisierungsalgorithmen, die moderne NLP-Modelle antreiben und sich hauptsächlich darin unterscheiden, wie sie Token während des Trainings zusammenführen und in ihren Bewertungsmetriken.
Ein Subword-Tokenisierungsalgorithmus, der iterativ die häufigsten benachbarten Zeichenpaare zu neuen Token zusammenfügt.
Eine Subwort-Tokenisierungsmethode, die Tokens auf Basis der Wahrscheinlichkeitsmaximierung und nicht der Rohhäufigkeit zusammenführt.
| Funktion | Bytepaar-Kodierung | WordPiece-Tokenisierung |
|---|---|---|
| Zusammenführungskriterium | Häufigkeit benachbarter Paare | Wahrscheinlichkeit der Trainingsdaten |
| Primäre Anwendungsfälle | GPT-Serie, RoBERTa, CLIP | BERT, DistilBERT, ALBERT |
| Vokabelinitialisierung | Einzelne Zeichen oder Bytes | Einzelne Charaktere |
| Umgang mit seltenen Wörtern | Zerlegt sich in häufige Teilworteinheiten | Aufteilungen basierend auf wahrscheinlichkeitsbasierter Segmentierung |
| Trainingsgeschwindigkeit | Im Allgemeinen schneller aufgrund einfacherer Zählung | Etwas langsamer aufgrund der Wahrscheinlichkeitsberechnung. |
| Token-Ausgabestil | Oftmals detaillierter | Häufiger zusammengefasst für gebräuchliche Wörter |
| Originalentwicklung | 1994 als Kompression; 2016 für NLP | Google-Spracherkennungsteam |
BPE betrachtet Tokenisierung als Komprimierungsproblem und führt dabei möglichst viele Tokenpaare zusammen, die im Trainingskorpus am häufigsten vorkommen. Dieser einfache, frequenzbasierte Ansatz ist intuitiv und relativ schnell zu berechnen. WordPiece hingegen verfolgt einen eher probabilistischen Ansatz und fragt, welche Zusammenführung die Trainingsdaten unter der Annahme eines Unigramm-Sprachmodells am wahrscheinlichsten macht. Diese subtile Änderung der Herangehensweise führt zu anderen Tokengrenzen, insbesondere bei morphologisch komplexen Sprachen.
Da BPE ausschließlich auf Häufigkeit basiert, trennt es Wörter manchmal an linguistisch unnatürlichen Stellen, wenn diese zufällig häufige Muster in den Daten darstellen. Der auf Wahrscheinlichkeiten basierende Ansatz von WordPiece berücksichtigt Morphemgrenzen tendenziell besser und erzeugt Token, die enger mit bedeutungstragenden Einheiten übereinstimmen. Im Englischen erzielen beide Methoden ähnliche Ergebnisse, der Unterschied wird jedoch in Sprachen mit komplexerer Morphologie wie Deutsch oder Türkisch deutlicher.
Die Wahl zwischen verschiedenen Tokenizern hängt oft eher von der verwendeten Modellarchitektur als von einer grundsätzlichen Präferenz für den Algorithmus selbst ab. Die GPT-Familie von OpenAI verwendet standardmäßig BPE, sodass jeder, der diese Modelle feinabstimmt oder einsetzt, dieses Tokenisierungsschema übernimmt. Googles BERT-Ökosystem hat WordPiece als Standard für Encoder-Only-Transformer-Modelle etabliert. Diese starke Verankerung im Ökosystem führt dazu, dass Anwender Tokenizer selten unabhängig von der Modellarchitektur wechseln.
Beide Algorithmen haben Schwierigkeiten mit bestimmten Sonderfällen, jedoch auf unterschiedliche Weise. BPE reagiert empfindlich auf Leerzeichen und Satzzeichen und erzeugt bei Formatierungsänderungen mitunter unerwartete Token. WordPiece fügt typischerweise ein spezielles Präfixsymbol (ähnlich wie ## in BERT) hinzu, um Fortsetzungswörter zu kennzeichnen. Dies erleichtert zwar die Rekonstruktion des Originaltextes, führt aber auch zu Tokenisierungsartefakten, mit denen nachfolgende Modelle umgehen lernen müssen.
In den letzten Jahren haben sich beide Algorithmen deutlich weiterentwickelt. SentencePiece bietet ein einheitliches Framework, das BPE, WordPiece oder die Tokenisierung von Unigramm-Sprachmodellen mit einer einzigen Bibliothek implementieren kann. Byte-Level-BPE (verwendet in GPT-2) arbeitet mit Rohbytes anstatt mit Unicode-Zeichen und eliminiert so das Problem unbekannter Token vollständig. Neuere Ansätze wie BPE-Dropout führen während des Trainings Stochastizität ein, um die Robustheit zu verbessern. Diese Entwicklungen zeigen, dass BPE und WordPiece zwar weiterhin grundlegend sind, das Feld sich aber stetig weiterentwickelt.
BPE und WordPiece erzeugen immer unterschiedliche Tokenisierungen für denselben Text.
Bei vielen gebräuchlichen englischen Wörtern führen beide Algorithmen tatsächlich zu identischen oder nahezu identischen Segmentierungen. Die Unterschiede werden deutlicher bei seltenen Wörtern, morphologisch komplexen Begriffen und in Sprachen mit komplexeren Flexionsmustern als Englisch.
WordPiece verwendet während der Tokenisierung ein neuronales Netzwerk.
Trotz seiner Verwendung in neuronalen Modellen ist WordPiece selbst vollständig nicht-neuronal. Die Wahrscheinlichkeitsberechnung basiert auf einfachen Unigramm-Häufigkeitsstatistiken und nicht auf einer gelernten neuronalen Repräsentation. Das „Sprachmodell“ in WordPiece ist lediglich eine Häufigkeitstabelle, kein Transformer oder rekurrentes Netzwerk.
BPE kann Sprachen mit großen Zeichensätzen wie Chinesisch nicht verarbeiten.
Byte-Level-BPE löst dieses Problem, indem es mit rohen UTF-8-Bytes anstatt mit einzelnen Zeichen arbeitet. Dadurch kann es jeden Unicode-Text darstellen, ohne jemals auf ein unbekanntes Zeichen zu stoßen. Allerdings kann es bei Schriften mit Tausenden von Zeichen mehr Tokens benötigen.
Die Wahl des Tokenizers hat einen erheblichen Einfluss auf die Modellleistung bei nachgelagerten Aufgaben.
Obwohl die Tokenisierung eine Rolle spielt, sind die Modellarchitektur und der Umfang der Trainingsdaten in der Regel deutlich wichtiger als die Wahl des Tokenizers. Studien haben gezeigt, dass BPE und WordPiece vergleichbare Ergebnisse liefern, wenn alle anderen Faktoren gleich sind; die Unterschiede sind meist gering und aufgabenabhängig.
WordPiece wurde speziell für BERT entwickelt.
WordPiece existierte bereits einige Jahre vor BERT. Google entwickelte es Anfang der 2010er-Jahre zunächst für die japanische und koreanische Sprachsuche und passte es später für die neuronale maschinelle Übersetzung an, bevor es überhaupt in BERT Verwendung fand. Die enge Verbindung zu BERT rührt daher, dass BERT WordPiece in der NLP-Forschungsgemeinschaft bekannt gemacht hat.
Die Größe des BPE-Vokabulars ist unerheblich, solange es groß genug ist.
Die Vokabulargröße hat einen erheblichen Einfluss auf die Modellleistung und die Recheneffizienz. Ist sie zu klein, verschwendet das Modell Rechenkapazität für lange Tokensequenzen. Ist sie zu groß, werden die Einbettungsmatrizen unhandlich, und seltene Token werden unzureichend repräsentiert. Die meisten Anwender optimieren diesen Hyperparameter sorgfältig und einigen sich typischerweise auf einen Wert zwischen 30.000 und 50.000 Token.
Wählen Sie BPE, wenn Sie mit GPT-ähnlichen Modellen arbeiten oder eine einfache, schnelle Tokenisierung benötigen, die verschiedene Textarten, einschließlich Code und mehrsprachiger Daten, verarbeiten kann. Entscheiden Sie sich für WordPiece, wenn Sie auf BERT-basierten Architekturen aufbauen oder Tokengrenzen wünschen, die besser mit linguistischen Morphemen übereinstimmen. Für die meisten Anwender hängt die Entscheidung letztendlich vom gewählten vortrainierten Modell ab.
A/B-Tests bei Content-Releases beinhalten die Ausrollung von Varianten an verschiedene Zielgruppensegmente und die Messung der Performance, während einmalige Content-Releases eine einzige Version gleichzeitig an alle ausliefern. Beide Ansätze eignen sich für unterschiedliche Ziele: A/B-Tests begünstigen datengetriebene Optimierung, während einmalige Releases Geschwindigkeit und Einfachheit priorisieren.
A/B-Tests im Modell-Serving-Verfahren leiten den Datenverkehr zwischen konkurrierenden Modellversionen, um die Leistung im realen Einsatz zu messen. Bei der Bereitstellung eines einzelnen Modells wird hingegen allen Nutzern dasselbe Modell ausgeliefert. Die Teams wählen die Methode basierend auf Risikotoleranz, Datenverkehrsaufkommen und dem Bedarf an statistischer Validierung vor der vollständigen Einführung.
Die Abfrageerweiterung reichert Suchanfragen dynamisch zur Laufzeit mit zusätzlichen Begriffen an, während feste Abfrageeinbettungen auf vorab berechneten, unveränderlichen Vektordarstellungen basieren. Beide Ansätze beheben das Problem der Vokabulardiskrepanz bei der Informationswiedergewinnung, unterscheiden sich jedoch deutlich in Flexibilität, Rechenaufwand und Anpassungsfähigkeit an neue Inhalte.
Latenzoptimiertes Arbeiten und reine Genauigkeitsoptimierung stellen zwei konkurrierende Ansätze im KI-Einsatz dar. Latenzoptimiertes Arbeiten priorisiert Geschwindigkeit und Benutzerfreundlichkeit, während reine Genauigkeitsoptimierung die höchstmögliche Modellleistung unabhängig von der Inferenzzeit anstrebt. Die Wahl zwischen diesen Ansätzen beeinflusst das Verhalten von KI-Systemen im Produktivbetrieb.
Actor-Critic-Methoden kombinieren Policy-Gradienten mit einer gelernten Wertfunktion, um die Varianz zu reduzieren und das Lernen zu beschleunigen, während reine Policy-Gradienten-Methoden ausschließlich auf der Policy und Monte-Carlo-Renditen basieren. Die Wahl zwischen den Methoden hängt davon ab, ob Stabilität und Stichprobeneffizienz oder Einfachheit und unverzerrte Schätzungen erforderlich sind.
