机器学习特征工程嵌入人工智能表征学习

稀疏特征使用与密集特征使用

稀疏特征和稠密特征的使用代表了机器学习模型中两种截然不同的数据表示方法。稀疏特征依赖于高维向量，其中大部分值为零；而稠密特征则将信息压缩成紧凑的低维表示。选择使用哪种特征会影响模型的性能、可解释性和计算效率。

亮点

在高维分类数据和文本数据中，稀疏特征占主导地位，因为其中大多数值都是零。
密集特征通过在连续向量空间中学习到的嵌入来捕捉语义关系。
线性模型擅长处理稀疏输入，而神经网络则更适合处理密集表示。
结合这两种方法的混合架构现在已成为现代推荐和搜索系统的标准配置。

稀疏特征使用是什么？

一种使用高维向量的表示策略，其中大多数条目为零，这在文本和分类数据中很常见。

稀疏表示通常源于对分类数据和文本数据应用独热编码、词袋模型或 TF-IDF 变换。
在自然语言处理中，一个包含 50,000 个单词的词汇表会生成向量，其中对于任何给定的文档，大约 99% 的条目为零。
稀疏特征保持了可解释性，因为每个维度都对应于一个特定的标记、类别或属性。
像逻辑回归这样的线性模型通常在稀疏输入数据上表现良好，而无需降维。
内存效率高的存储格式（例如 CSR 和 CSC）允许仅使用非零值及其索引来存储稀疏向量。

密集特征使用是什么？

一种紧凑的表示方法，其中大多数值非零，通常通过嵌入或神经网络层学习得到。

稠密向量的维度通常在 8 到 1024 之间，远小于典型的稀疏表示。
像 Word2Vec、GloVe 这样的词嵌入以及 BERT 中的上下文嵌入生成了能够捕捉语义关系的密集表示。
密集特征能够更好地泛化相似项目，因为相似的输入会映射到连续空间中的邻近点。
神经网络天然地处理稠密张量，因此稠密特征是深度学习流程中的默认特征。
PCA、自编码器和矩阵分解等技术可以将稀疏输入转换为稠密的潜在表示。

比较表

功能	稀疏特征使用	密集特征使用
典型维度	数千到数百万个维度	数十到数百个维度
非零值比例	通常不到1%	几乎100%的值都非零。
可解释性	高——每个维度都有明确的含义	低维度是抽象的潜在特征
存储效率	为了提高效率，需要使用稀疏格式（CSR、CSC）。	以标准密集数组形式存储
常见用例	文本分类、推荐系统、点击率预测	深度学习、语义搜索、图像和音频处理
计算成本	对于线性模型来说效率很高，但对于神经网络来说成本很高。	针对神经网络中的 GPU/TPU 加速进行了优化
泛化行为	有限——将每个功能独立处理。	强——捕捉相关特征之间的相似性
生成方法	独热编码、TF-IDF、计数向量	嵌入、神经网络层、矩阵分解

详细对比

表示与结构

稀疏特征的使用会生成绝大多数元素为零的向量，这在将分类变量或文本标记编码到高维空间时自然发生。相比之下，密集特征的使用则将信息压缩到紧凑的向量中，几乎每个维度都包含有意义的浮点值。这种结构上的差异会对模型处理、存储和学习数据的方式产生连锁反应。

型号兼容性

线性模型（例如逻辑回归和支持向量机）在稀疏输入数据上表现出色，因为它们在计算过程中可以忽略零值维度。而神经网络则基于稠密张量运算设计，如果直接输入未经转换的原始稀疏向量，其性能会很差。因此，许多生产系统在将稀疏特征输入深度架构之前，都会将其转换为稠密嵌入。

可解释性与普遍性

稀疏特征在可解释性方面更胜一筹，因为每个维度都直接映射到现实世界的属性，例如特定的词语或产品类别。密集特征则牺牲了这种透明度，以换取更强的泛化能力，因为语义相似的项在嵌入空间中会彼此靠近。这种权衡解释了混合方法为何如此常见：稀疏特征用于构建可解释的线性组件，而密集嵌入用于构建更深层次的层。

计算和存储方面的考虑

存储一个仅包含 50 个非零元素的百万维稀疏向量，比存储一个每个元素都包含 1024 维稠密元素的向量要便宜得多，尤其是在大规模应用时。然而，GPU 上的稀疏运算效率极低，因为硬件针对稠密矩阵乘法进行了优化。这种不匹配常常迫使开发者在利用加速器硬件之前对特征进行稠密化处理。

实际应用

搜索引擎和推荐系统过去依赖于稀疏表示，例如 TF-IDF 和独热编码，来进行排名和点击率预测。现代系统越来越多地将这些稀疏表示与来自 BERT 或双塔神经网络等模型的密集嵌入相结合，以捕捉语义信息。最终的选择取决于应用优先考虑的是可解释性、规模还是预测准确性。

优点与缺点

稀疏特征使用

优点

+ 高度可解读
+ 内存高效
+ 适用于线性模型
+ 保留原始特征含义

继续

− GPU效率低下
− 概括性有限
− 高维性
− 忽略特征相似性

密集特征使用

优点

+ 对GPU和TPU友好
+ 强泛化
+ 紧凑表示
+ 捕捉语义含义

继续

− 难以解释
− 需要训练数据
− 过拟合风险
− 抽象潜在维度

常见误解

神话

密集特征总是比稀疏特征更好，因为它们占用内存更少。

现实

稠密向量维度较少，但每个维度都存储一个完整的浮点值。实际上，只有少量非零元素的稀疏向量比任何大小的稠密向量占用的内存都少得多。正确的选择取决于所使用的数据结构和模型。

神话

稀疏特征无法捕捉词语或项目之间的语义关系。

现实

虽然单个稀疏维度本身并不直接编码相似性，但诸如 TF-IDF 加权和学习到的稀疏表示（例如 SPLADE）等技术可以捕捉到有意义的词项重要性。然而，密集嵌入在建模细微的语义相似性方面仍然更为有效。

神话

神经网络无法处理稀疏的输入特征。

现实

神经网络可以接受稀疏输入，但通常会在第一层将其转换为稠密嵌入。像 DeepFM、Wide 和 Deep 这样的模型以及各种推荐系统都通过嵌入查找表显式地处理稀疏类别特征。

神话

密集嵌入消除了特征工程的必要性。

现实

密集嵌入可以自动完成一些特征学习，但周密的预处理、特征选择和架构设计仍然至关重要。无论模型多么复杂，原始的垃圾数据都会产生垃圾嵌入。

神话

稀疏表示法已经过时，不再用于现代人工智能。

现实

稀疏特征在谷歌搜索、在线广告和许多生产级推荐引擎等大型系统中仍然至关重要。它们通常与密集嵌入结合使用，而不是完全被取代。

常见问题解答

机器学习中稀疏特征和密集特征有什么区别？

稀疏特征是高维向量，其中大部分值为零，通常由独热编码或词袋模型生成。稠密特征是紧凑的向量，几乎每个元素都包含有意义的值，通常通过词嵌入或神经网络层学习得到。二者的关键区别在于维度以及每个维度所包含的信息量。

为什么嵌入被认为是稠密表示？

词嵌入将离散项（例如单词或产品 ID）映射到连续向量空间，其中每个维度都包含一个非零浮点值。由于所有维度都提供信息，因此词嵌入被归类为稠密嵌入。它们还支持通过点积或余弦距离计算相似度。

什么时候应该使用稀疏特征而不是密集特征？

当您需要可解释性、使用线性模型或处理大规模高基数分类数据时，稀疏特征最为有效。此外，当存储效率至关重要且可以利用稀疏矩阵格式时，稀疏特征也是首选。在线广告和搜索排名等行业正是基于这些原因而高度依赖稀疏特征。

稀疏特征和密集特征能否在同一个模型中同时使用？

是的，混合架构在实践中非常常见。像 Wide and Deep、DeepFM 和 xDeepMIM 这样的模型将稀疏特征输入与密集嵌入相结合，从而兼顾两者的优势。稀疏部分负责记忆，而密集部分负责泛化。

如何将稀疏特征转换为密集特征？

常用方法包括训练嵌入层、应用降维技术（如PCA或截断SVD）或使用自编码器。在推荐系统中，矩阵分解方法（如ALS或SVD）将稀疏的用户-物品交互矩阵分解为稠密的潜在因子向量。

密集嵌入总是比稀疏特征更准确吗？

不一定。在涉及语义理解的任务中，密集嵌入通常优于稀疏特征，但在具有清晰类别信号的表格数据上，稀疏线性模型可以与深度学习方法媲美甚至超越它们。准确率很大程度上取决于数据集、任务以及可用的训练数据量。

稀疏特征使用哪些存储格式？

稀疏矩阵通常以压缩格式存储，例如 CSR（压缩稀疏行）、CSC（压缩稀疏列）或 COO（坐标）。这些格式仅存储非零值及其行索引和列索引，与密集存储相比，可显著降低内存占用。

Transformer模型使用稀疏特征还是密集特征？

Transformer模型几乎完全基于稠密表示进行操作。输入词元被转换为稠密嵌入，注意力机制计算网络中这些稠密向量的加权组合。甚至位置编码在处理之前也会被添加为稠密向量。

特征稀疏性如何影响模型训练时间？

稀疏特征可以显著加快线性模型的训练速度，因为在计算过程中可以跳过零值。然而，对于神经网络而言，稀疏输入通常会减慢训练速度，因为GPU针对稠密矩阵运算进行了优化。在训练流程早期将稀疏输入转换为稠密嵌入是一种常见的解决方法。

稀疏特征的维度灾难是什么？

随着类别数量的增长，稀疏向量的维度会变得极高，导致维度灾难，使得距离的意义变得模糊，模型所需的数据量呈指数级增长。稠密嵌入通过将类别投影到低维空间来缓解这一问题，在低维空间中，几何关系仍然具有意义。

裁决

当可解释性、线性建模和超大规模存储效率至关重要时，例如在点击率预测或经典自然语言处理流程中，稀疏特征的使用是更佳选择。而当处理深度学习模型、语义理解或需要对相似输入进行强泛化的任务时，密集特征的使用则更胜一筹。许多生产系统会将两者结合使用，使用稀疏特征来处理可解释的组件，并使用密集嵌入来实现强大的下游建模。