Byte Pair Encoding et WordPiece sont deux algorithmes de tokenisation de sous-mots largement utilisés qui alimentent les modèles NLP modernes, différant principalement par la façon dont ils fusionnent les jetons pendant l'entraînement et par leurs métriques de notation.
Un algorithme de tokenisation de sous-mots qui fusionne itérativement les paires de caractères adjacentes les plus fréquentes en nouveaux jetons.
Une méthode de tokenisation en sous-mots qui fusionne les tokens en fonction de la maximisation de la vraisemblance plutôt que de la fréquence brute.
| Fonctionnalité | Encodage par paires d'octets | Tokenisation de WordPiece |
|---|---|---|
| Critère de fusion | Fréquence des paires adjacentes | Probabilité des données d'entraînement |
| Principaux cas d'utilisation | Série GPT, RoBERTa, CLIP | BERT, DistilBERT, ALBERT |
| Initialisation du vocabulaire | caractères ou octets individuels | Personnages individuels |
| Gestion des mots rares | Se divise en unités de sous-mots fréquentes | Segmentation basée sur la probabilité |
| Vitesse d'entraînement | Généralement plus rapide grâce à un simple comptage | Légèrement plus lent en raison du calcul de vraisemblance |
| Style de sortie des jetons | Souvent plus granulaire | Souvent plus consolidé pour les mots courants |
| Développement original | 1994 pour la compression ; 2016 pour le traitement automatique du langage naturel (TALN). | L'équipe de reconnaissance vocale de Google |
BPE aborde la tokenisation comme un problème de compression, en fusionnant de manière gloutonne les paires les plus fréquentes dans le corpus d'entraînement. Cette approche simple, basée sur la fréquence, est intuitive et relativement rapide à calculer. WordPiece adopte une perspective plus probabiliste, en cherchant la fusion qui rendrait les données d'entraînement les plus probables sous l'hypothèse d'un modèle de langue unigramme. Ce changement subtil de perspective induit des frontières de tokens différentes, notamment pour les langues morphologiquement riches.
Puisque BPE se base uniquement sur la fréquence, il arrive qu'il divise les mots à des endroits linguistiquement inadaptés si ces divisions correspondent à des schémas courants dans les données. L'approche de WordPiece, basée sur la vraisemblance, tend à mieux respecter les frontières morphémiques, produisant des tokens plus proches des unités sémantiques. Pour l'anglais, les deux méthodes donnent des résultats similaires, mais la différence s'accentue dans les langues à la morphologie plus riche, comme l'allemand ou le turc.
Le choix entre ces tokeniseurs dépend souvent de l'architecture du modèle utilisé plutôt que d'une préférence marquée pour l'algorithme lui-même. La famille GPT d'OpenAI s'est standardisée sur BPE ; par conséquent, toute personne affinant ou déployant ces modèles hérite de ce schéma de tokenisation. L'écosystème BERT de Google a imposé WordPiece comme le choix de facto pour les modèles Transformer composés uniquement d'encodeurs. Cette forte présence de l'écosystème fait que les praticiens changent rarement de tokeniseur indépendamment de l'architecture du modèle.
Les deux algorithmes rencontrent des difficultés avec certains cas particuliers, mais de manières différentes. BPE peut être sensible aux espaces et à la ponctuation, produisant parfois des jetons inattendus lorsque la mise en forme varie. WordPiece ajoute généralement un préfixe spécial (comme ## dans BERT) pour indiquer les sous-mots de continuation, ce qui rend la reconstruction du texte original plus explicite, mais introduit également des artefacts de tokenisation que les modèles suivants doivent apprendre à gérer.
Ces dernières années ont été marquées par une évolution significative de ces deux algorithmes. SentencePiece offre un cadre unifié permettant d'implémenter la tokenisation BPE, WordPiece ou par modèle de langage unigramme au sein d'une seule bibliothèque. Le BPE au niveau octet (utilisé dans GPT-2) opère sur des octets bruts plutôt que sur des caractères Unicode, éliminant ainsi tout problème de token inconnu. Parallèlement, des approches plus récentes, telles que le dropout de BPE, introduisent de la stochasticité lors de l'entraînement afin d'améliorer la robustesse. Ces développements démontrent que, si BPE et WordPiece demeurent fondamentaux, le domaine continue de progresser.
BPE et WordPiece produisent toujours des tokenisations différentes pour un même texte.
Pour de nombreux mots anglais courants, les deux algorithmes aboutissent à des segmentations identiques ou quasi identiques. Les différences s'accentuent avec les mots rares, les termes morphologiquement complexes et les langues aux structures flexionnelles plus riches que l'anglais.
WordPiece utilise un réseau neuronal lors de la tokenisation.
Malgré son utilisation dans les modèles neuronaux, WordPiece est entièrement non neuronal. Le calcul de la vraisemblance repose sur de simples statistiques de fréquence des unigrammes, et non sur une quelconque représentation neuronale apprise. Le « modèle de langage » de WordPiece est simplement une table de fréquences, et non un transformateur ou un réseau récurrent.
BPE ne peut pas gérer les langues ayant de grands jeux de caractères comme le chinois.
Le BPE au niveau octet résout précisément ce problème en opérant sur des octets UTF-8 bruts plutôt que sur des caractères. Cela signifie qu'il peut représenter n'importe quel texte Unicode sans jamais rencontrer de caractère inconnu, même si cela peut nécessiter davantage de jetons pour les scripts comportant des milliers de caractères.
Le choix du tokenizer a un impact significatif sur les performances du modèle pour les tâches en aval.
Bien que la tokenisation soit importante, l'architecture du modèle et la taille des données d'entraînement ont généralement une importance bien plus grande que le choix du tokenizer. Des études ont montré que BPE et WordPiece offrent des performances comparables toutes choses égales par ailleurs, les différences étant généralement faibles et dépendantes de la tâche.
WordPiece a été inventé spécifiquement pour BERT.
WordPiece est antérieur à BERT de plusieurs années. Google l'a initialement développé pour la recherche vocale en japonais et en coréen au début des années 2010, puis l'a adapté à la traduction automatique neuronale avant même son intégration à BERT. Son association avec BERT est forte, car ce dernier a contribué à sa notoriété dans la communauté de recherche en traitement automatique du langage naturel (TALN).
La taille du vocabulaire BPE n'a pas d'importance tant qu'il est suffisamment grand.
La taille du vocabulaire influe considérablement sur les performances du modèle et son efficacité de calcul. Un vocabulaire trop restreint entraîne un gaspillage de ressources pour les longues séquences de jetons. À l'inverse, un vocabulaire trop étendu rend les matrices d'intégration difficiles à manipuler et les jetons rares sont mal représentés. La plupart des praticiens optimisent soigneusement cet hyperparamètre, en se basant généralement sur une valeur comprise entre 30 000 et 50 000 jetons.
Choisissez BPE lorsque vous travaillez avec des modèles de type GPT ou lorsque vous avez besoin d'une tokenisation simple et rapide capable de gérer des textes variés, y compris du code et des données multilingues. Optez pour WordPiece si vous utilisez des architectures basées sur BERT ou si vous souhaitez des limites de tokens plus proches des morphèmes linguistiques. Pour la plupart des utilisateurs, le choix se fait en fonction du modèle pré-entraîné sélectionné.
Cette comparaison analyse les choix stratégiques en matière d'apprentissage automatique entre l'adaptation de domaine, qui transfère les connaissances d'un environnement source étiqueté vers un environnement cible différent, et l'entraînement dans le domaine, qui construit des modèles entièrement sur des données collectées à partir du contexte de déploiement cible exact.
L'adaptation linguistique en IA consiste à entraîner les modèles à gérer des langues spécifiques par le biais d'un réglage fin et d'un apprentissage par transfert, tandis que les systèmes d'IA agnostiques visaient à traiter n'importe quelle langue sans formation linguistique spécifique. Ces deux approches permettent de relever les défis du multilinguisme, mais diffèrent fondamentalement en termes d'architecture, de données d'entraînement et de déploiement en situation réelle.
Ce guide détaillé explore les différences structurelles et opérationnelles entre les agents autonomes et les systèmes d'automatisation scriptés. Si les outils scriptés offrent une prévisibilité inégalée pour les flux de travail rigides et répétitifs, les agents intelligents modernes exploitent le raisonnement cognitif pour naviguer de manière autonome face à des entrées variables, des obstacles techniques inattendus et des environnements de données non structurés et extrêmement complexes.
Cette comparaison architecturale oppose l'ingénierie déterministe des agents à base de règles à la nature adaptative et axée sur les données des agents à base d'apprentissage, en évaluant leur applicabilité dans le monde réel, leurs limites d'échelle et leurs performances en situation d'incertitude.
Les agents conversationnels privilégient le dialogue naturel et les interactions textuelles, tandis que les agents utilisant des outils étendent les capacités de l'IA en invoquant des fonctions externes et des API. Ces deux types d'agents représentent des approches distinctes des systèmes d'IA autonomes : les modèles conversationnels excellent dans la communication, tandis que les agents utilisant des outils se spécialisent dans l'exécution de tâches concrètes.
