分词自然语言处理变压器效率计算语言学人工智能

词元压缩与词元表达能力

在现代语言模型设计中，词元压缩和词元表达力代表了两个相互竞争的优先事项，压缩侧重于通过更短的表示来提高效率，而表达力则优先考虑词元化含义的丰富性和细微差别。

亮点

压缩直接降低了注意力的二次方成本，使其在大规模部署中具有经济优势。
表达性标记保留了词组碎片化常常掩盖的语义区别，尤其是在技术术语方面。
形态丰富的语言往往更倾向于表达性强的方法，而以英语为中心的应用程序则更容易容忍激进的压缩。
动态和学习型分词方法正在兴起，以弥合这两个优先事项之间由来已久的权衡取舍。

令牌压缩是什么？

减少表示文本所需标记数量的技术，从而提高计算效率。

字节对编码及其变体仍然是主要的压缩方法，它通过迭代地将频繁出现的字符对合并成单个标记来实现。
像谷歌的 SentencePiece 这样的现代压缩方法可以实现子词标记化，从而在词汇量和序列长度之间取得平衡。
MegaByte 和 Patchify 等极端压缩方法试图直接处理原始字节，完全摒弃了传统的分词器。
压缩标记表示直接降低了Transformer的计算成本，而标准注意力机制的计算成本与序列长度呈二次方关系。
DeepSeek 和其他机构的最新研究探索了将多个字符甚至单词压缩成单个标记以加快推理速度。

标记表达能力是什么？

单个符号承载丰富、细致且符合语境的含义的能力。

富有表现力的分词保留了语义上的区别，例如通过上下文相关的嵌入将“bank”（河流）与“bank”（金融）区分开来。
更大的词汇量通常会通过为特定概念分配不同的词符来增加表达能力，而不是强行分解。
土耳其语或芬兰语等形态丰富的语言，可以从能够捕捉语法格和黏着的富有表现力的标记中获益匪浅。
表达性标记可以减少下游任务中的歧义，提高对细微理解和生成挑战的性能。
MetaMorph 等新兴方法研究学习到的标记表示，这些表示能够根据上下文动态调整，而不是使用固定的词汇映射。

比较表

功能	令牌压缩	标记表达能力
主要目标	最小化词元数量和序列长度	最大化每个词的含义并减少歧义
典型词汇量	规模较小（1万-5万代币），积极合并	较大（5万-25万+代币），颗粒细密
计算成本	由于序列长度较短，每个序列的成本较低。	每序列价格较高，但每单位含义价格可能较低。
罕见词汇表演	经常分解成子词，从而失去一些连贯性。	更好地保存罕见术语标识
语言覆盖范围	难以掌握形态复杂的语言	在各种语言结构中更具稳健性
推理速度	由于序列长度缩短，速度更快	序列速度较慢，但个体表征更丰富
训练数据效率	每次标记出现更新次数更多，梯度更密集	令牌使用量减少，每个令牌需要更多数据。

详细对比

核心设计理念

词元压缩源于Transformer模型运行成本高昂的现实，而更短的序列意味着更快、更经济的推理。构建生产系统的团队通常优先考虑用50%的词元表达90%的含义。相比之下，词元表达能力则将词元词汇视为人类语言和模型理解之间的语义接口——更好的词元意味着模型无需费力地从零散的子词片段中重建细微的含义。

对模型架构的影响

高强度压缩迫使架构采用更长的上下文或替代注意力机制来弥补信息密度不足的问题。一些研究人员探索了状态空间模型，部分原因是为了应对压缩带来的权衡取舍。富有表现力的分词通常与标准的Transformer架构结合使用，但需要更复杂的嵌入层，有时还需要分层处理来管理更丰富的初始表示。

多语言和领域特定表现

压缩方法在词界并非由空格分隔的语言（例如日语或汉语）或词语粘着性很强的语言中常常遇到困难。将词符分配给有意义的语素的表达性方法在这些语言中表现出显著优势。在医学或法律等专业领域，包含领域术语作为原子词符的表达性词汇表，其性能显著优于将技术术语碎片化的压缩表示。

新兴混合方法

最近一些最有趣的研究拒绝纯粹地做出选择。诸如 Matryoshka 嵌入或学习压缩模块之类的方法，力求在嵌入层面上保持表达能力，同时实现运行时效率。类似地，一些分词器现在采用动态词汇选择，针对常见上下文选择更压缩的表示，而针对需要精确性的领域选择更具表达力的表示。

评估和基准测试的挑战

公平地比较这些方法仍然很困难。标准基准测试通常更倾向于表达能力，因为它们衡量的是细微任务的准确性，而生产部署则通过降低延迟和成本来默默地奖励压缩。研究人员越来越多地将每秒词数与困惑度一起报告，他们承认，单独使用任何一个指标都无法反映实际应用价值。

优点与缺点

令牌压缩

优点

+ 更快的推理速度
+ 更低的内存占用
+ 更低的 API 成本
+ 更简单的部署扩展

继续

− 语义细微差别的丧失
− 罕见词处理不当
− 对于某些语言来说并非最优
− 长上下文连贯性下降

标记表达能力

优点

+ 更丰富的语义表征
+ 更好的多语言支持
+ 卓越的罕见词处理能力
+ 减少输出结果的歧义

继续

− 更高的计算成本
− 更大的内存需求
− 推理吞吐量降低
− 更复杂的词汇管理

常见误解

神话

较小的词汇量总是能带来更好的概括能力。

现实

虽然过大的词汇量会导致梯度更新稀疏，但适度增加词汇量通常能提高泛化能力，因为它能降低模型从碎片化词元中重构含义的认知负荷。最佳词汇量很大程度上取决于语言和领域特征。

神话

符号压缩和表达能力从根本上是相互对立的，无法调和。

现实

近年来，学习型分词、动态词汇选择和层级表示等方面的进展表明，这两个目标可以部分实现。这种权衡取舍是真实存在的，但并非绝对的，而且可能性边界仍在不断扩展。

神话

字节级模型完全消除了标记化权衡的必要性。

现实

虽然像 MegaByte 这样的字节级方法消除了显式的标记化，但它们也带来了其他挑战，例如序列长度大幅增加以及对专用架构的需求。表示效率和表达能力之间的根本矛盾在不同的抽象层次上依然存在。

神话

更具表现力的标记总能提高下游任务的性能。

现实

当任务需要精细的语义区分时，富有表现力的标记最为有效。但对于诸如简单文本的情感分类这类任务，富有表现力的标记化带来的额外开销可能不会转化为显著的准确率提升，压缩表示通常也能达到类似的效果。

神话

一旦模型训练完成，分词选择就是永久性的。

现实

虽然重新分词需要重新训练模型，但词汇移植、分词器自适应以及在新分词方案上持续预训练等技术使得模型能够不断演进。一些推理时方法甚至可以在分词方案之间动态地重新映射。

常见问题解答

语言模型中的词元压缩是什么？

词元压缩是指减少表示一段文本所需词元数量的技术。这包括诸如激进的子词合并之类的方法，即将频繁出现的字符序列合并成单个词元，或者更彻底的方法，例如直接处理原始字节或更大的文本块。其目标通常是加快推理速度并降低计算成本。

词元表达能力如何影响模型性能？

表达力强的词元承载着更具体的含义，这减少了歧义，也降低了模型从碎片信息中重构含义的需求。这尤其能提升技术领域、形态复杂的语言以及需要细粒度语义区分的任务的性能。然而，这也增加了序列层面的计算成本。

为什么有些语言需要更具表现力的分词？

土耳其语、芬兰语、匈牙利语和日语等语言将大量的语法信息浓缩在词形之中，或者缺乏清晰的词界。过度压缩会迫使这些语言进行不恰当的词元分解，从而掩盖其形态结构。尊重语言边界的表达性分词方法能够保留这些信息，使模型更加有效。

训练完成后可以更改模型的分词器吗？

并非直接如此——模型的词嵌入与其特定的词法单元紧密相关。然而，研究人员已经开发出词法器移植和持续预训练技术，使模型能够适应新的词法方案。这些技术需要额外的训练，但可以将模型迁移到更适合特定用例的词法方案。

我的应用需要兼顾压缩性和表现力，该如何选择？

首先分析实际的瓶颈。如果 API 成本或延迟是用户抱怨的主要问题，且任务相对简单，那么可以考虑压缩。如果发现技术术语、命名实体或多语言输入方面存在系统性错误，则应投入更多精力进行更精确的标记化。许多团队现在会针对自身数据对这两种方法进行 A/B 测试。

词汇量与词语表达能力之间有何关系？

更大的词汇量通常能通过为特定概念分配不同的词元来实现更具表现力的分词。然而，收益递减规律会逐渐显现，过大的词汇量会导致训练不稳定和词嵌入稀疏。这种关系并非严格的线性关系——词汇设计和词元合并规则与词汇量本身同样重要。

现代模型还使用字节对编码吗？

是的，BPE及其变体（例如WordPiece和SentencePiece）在生产系统中仍然占据主导地位。然而，该领域正在积极探索其他替代方案，包括字节级模型、学习型分词器，甚至完全消除显式分词的方法。每种方案在压缩率和表达能力之间都存在不同的权衡。

分词对模型幻觉有何影响？

糟糕的分词会迫使模型从模糊或碎片化的表示中重构含义，从而间接增加模型的错觉。当技术术语被不可预测地拆分时，模型可能会生成听起来合理但却错误的后续内容。更具表现力的、能够保持术语完整性的分词方法可以减少特定领域应用中的此类故障模式。

是否存在评估分词质量的标准？

虽然目前尚无通用标准，但研究人员通常会使用诸如词频（每个词的词符数）、解码准确率和后续任务性能等指标。越来越多的评估方法也开始纳入效率指标，例如每秒处理的词符数和每百万词符的成本。最全面的评估会同时考虑多种语言和领域。

分词在未来的模型架构中将扮演什么角色？

诸如状态空间模型和替代注意力机制等新兴架构可能会减轻对激进压缩的需求。与此同时，能够同时处理图像、音频和文本的多模态模型正在推动人们对统一分词方案的兴趣。该领域似乎正朝着更具自适应性、上下文敏感的分词方法发展，而非采用固定词汇表的方法。

裁决

在大规模部署且延迟和成本至关重要的情况下，尤其是在处理大量相对简单的语言任务时，应选择词元压缩。而在构建面向需要精确性的领域、处理形态复杂的语言或细微语义差别会对输出质量产生重大影响的系统时，则应优先考虑词元的表达能力。目前，该领域的发展趋势是采用自适应方法，根据上下文在两者之间进行调节。