神话
更精确的模型一旦部署，总能改善业务指标。
现实
如果模型增加了延迟或服务成本，用户可能会在看到推荐内容之前放弃会话。许多 A/B 测试表明，在实际用户参与度指标方面，准确度稍低但速度更快的模型优于准确度更高但速度较慢的模型。
推荐系统机器学习云基础设施莫普斯模型优化
推荐系统效率与纯模型精度优化对比
推荐系统中的系统效率优化侧重于在保持可接受的推荐质量的前提下，降低延迟、计算成本和资源占用。纯粹的模型准确率优化则优先考虑预测性能指标，例如 AUC、NDCG 和召回率，但通常会增加计算开销。选择哪种优化方式取决于您的部署更看重可扩展性和成本，还是原始的排名质量。
亮点
- 效率将延迟和成本视为首要的成功指标，而不是事后考虑的因素。
- 纯粹的精度优化可能会产生一些在经济上无法大规模部署的模型。
- 双塔架构和 ANN 搜索是效率的标志，而交叉网络和 Transformer 则体现了对精度的关注。
- 大多数生产系统将两者结合起来，先使用成本低廉的候选对象生成方法，然后再进行成本高昂的重新排序。
推荐系统中的效率是什么？
一种工程方法，旨在优化整个推荐流程中的延迟、吞吐量、内存和能耗。
- 谷歌 YouTube 团队报告称，即使服务延迟降低 10%，也能带来可衡量的用户参与度提升，使效率成为直接的收入杠杆。
- 高效的推荐系统通常使用双塔模型、近似最近邻搜索和嵌入量化等技术来扩展到数十亿个项目。
- Meta 的 DLRM 以及后续对压缩嵌入的研究表明，4 位量化可以将模型内存缩小至多 16 倍，而精度损失却很小。
- 系统效率考虑的是包括特征检索、模型推理和排序后重排序在内的整个堆栈，而不仅仅是神经网络本身。
- Pinterest 和 TikTok 等公司发表论文表明，缓存和预计算策略可以降低 30-50% 的服务成本。
纯模型精度优化是什么？
一种以研究为导向的方法，最大限度地提高离线和在线准确率指标，而主要不考虑计算成本。
- 以准确性为导向的推荐系统将 AUC、对数损失、NDCG@K、MAP@K 和 recall@K 等指标作为主要成功标准。
- 深度模型（例如 Transformer 模型、大型交叉网络和图神经网络）通常能提供更高的准确率，但需要更多的计算资源。
- RecSys 学术界历来重视 MovieLens、Amazon Reviews 和 Yelp 数据集等准确性基准。
- SASRec、BERT4Rec 和 LightFM 等模型的发布主要以准确率的提高作为主要成果。
- 纯粹的准确率优化会导致模型每次查询耗时数百毫秒，这使得它们不适用于大规模的实时服务。
比较表
| 功能 | 推荐系统中的效率 | 纯模型精度优化 |
|---|---|---|
| 主要目标 | 最大程度降低延迟、成本和资源消耗 | 最大化预测准确率指标 |
| 关键指标 | P99延迟、QPS、每千次请求成本、内存占用 | AUC、NDCG@K、recall@K、对数损失、MAP |
| 典型技术 | 量化、人工神经网络搜索、缓存、双塔模型、蒸馏 | 更深层网络、交叉特征、图神经网络、Transformer模型、集成学习 |
| 计算预算 | 受限且优化 | 通常不受约束或慷慨大方 |
| 部署重点 | 生产环境每天处理数十亿次请求 | 研究基准和离线评估 |
| 商业影响 | 通过速度直接节省成本并提升用户体验 | 如果能在预算范围内提供更好的建议，那就更好了。 |
| 过拟合风险 | 较低，因为通常使用更简单的模型。 | 更高，因为复杂模型可以记忆模式 |
| 硬件灵敏度 | 针对特定加速器进行高调校 | 较低级别 - 只要有计算资源即可运行 |
详细对比
核心理念与权衡取舍
系统效率将推荐质量视为众多变量之一，并权衡其与延迟、成本和可靠性之间的关系。纯粹的准确率优化则将质量视为主要变量，并假设计算资源能够满足需求。实际上，这两种方法处于同一光谱的两端，大多数生产团队最终会选择中间方案，牺牲少量准确率来换取显著的效率提升。
模型架构选择
注重效率的团队倾向于采用将候选生成与排序解耦的架构，例如预先独立计算用户和物品嵌入的双塔模型。而注重准确性的团队则通常更喜欢跨特征交互、注意力机制和深度堆叠等能够捕捉更丰富信号但需要在服务时进行联合计算的架构。架构的选择会影响到从特征存储到服务基础设施的方方面面。
评估和成功标准
当效率是首要考虑因素时，衡量成功的标准是服务指标，例如尾延迟、GPU吞吐量和总体拥有成本。而以准确性为先的团队则依靠离线排行榜得分和在线A/B测试在用户参与度或收入方面的提升来决定成败。在以效率为先的文化中，一个在NDCG（网络延迟累积）方面表现优异但延迟超支的模型是失败的；同样，在以准确性为先的文化中，一个响应时间仅为5毫秒但排名靠后的模型也是失败的。
真实世界部署的现实情况
在 Meta、Google 和 TikTok 等公司，推荐系统要处理数万亿次请求，因此即使是微小的效率提升也能转化为数百万美元的基础设施成本节约。学术界和创业公司通常没有这种规模限制，因此它们可以进一步提高准确率而无需担心服务成本。结果就是，已发布的准确率基准测试经常使用一些在超大规模数据中心根本无法通过生产环境审核的模型。
每种方法获胜的时候
当服务成本在预算中占据主导地位、用户感知延迟直接影响参与度，或者系统必须扩展到海量目录时，效率优先。当目录规模较小、推荐结果已预先离线计算，或者边际质量提升带来的商业价值足以抵消计算成本时，纯粹的准确性优先。混合方法，例如级联推荐系统（其中低成本模型先对候选结果进行筛选，然后再由高成本模型重新排序），正变得越来越普遍。
优点与缺点
推荐系统中的效率
优点
- + 降低服务成本
- + 更好的用户体验
- + 可扩展至数十亿件物品
- + 可预测的基础设施
继续
- − 可能会牺牲准确性
- − 需要深厚的系统专业知识
- − 快速迭代更难
- − 模型复杂度有限
纯模型精度优化
优点
- + 更高等级的质量
- + 更容易研究
- + 强大的离线基准测试
- + 捕捉复杂模式
继续
- − 服务成本高
- − 高延迟风险
- − 难以扩展
- − 在生产中往往不切实际
常见误解
神话
以效率为导向的推荐系统必然更简单、功能更弱。
现实
现代高效系统运用了诸如学习索引、量化感知训练和近似最近邻搜索等复杂技术。它们并非简单——而是经过精心设计，旨在有限的资源预算内提供强大的性能。
神话
离线准确率指标能够可靠地预测在线性能。
现实
离线指标（例如 AUC 和 NDCG）与在线成功率相关，但远非完美。一个离线 NDCG 提升 0.5% 的模型，如果在线上增加 20 毫秒的延迟，就可能失败。这就是为什么生产团队非常重视效率的原因。
神话
你必须在准确性和效率之间做出选择。
现实
两者并非完全对立。知识蒸馏、剪枝和量化等技术可以在更小的模型体积内恢复大型模型的大部分精度，从而兼顾两者。
神话
学术基准反映了生产中哪些方法行之有效。
现实
学术推荐系统研究大多侧重于静态数据集上的准确率，而忽略了服务约束。像 Netflix 和 Meta 这样的公司的实际生产系统与已发布的基准测试结果截然不同。
常见问题解答
推荐系统中的系统效率是什么？
系统效率是指推荐系统如何有效地利用计算、内存和网络资源来提供预测结果。它涵盖了服务延迟、吞吐量、每次请求成本和能耗。高效的系统能够在保证推荐质量的前提下，最大限度地降低运营成本，这对于像 YouTube 或 TikTok 这样规模庞大的平台来说至关重要。
为什么纯粹的精度优化在生产中往往不切实际？
高精度模型往往规模庞大且运行缓慢，因为它们依赖于深度网络、交叉特征或Transformer模型。在每天数十亿次的请求量下，即使延迟增加50毫秒，也可能导致数百万美元的基础设施成本，并影响用户体验。因此，生产团队会限制模型复杂度，以确保在延迟和预算限制范围内运行。
双塔式机组如何提高效率？
双塔模型分别对用户和物品进行编码，因此物品嵌入可以预先离线计算并建立索引，以便快速进行近似最近邻搜索。在服务时，只需计算用户嵌入，然后通过快速的人工神经网络查找即可检索候选对象。与联合评分每个用户-物品对的模型相比，这种架构显著减少了在线计算量。
能否同时实现高精度和高效率？
是的，通过知识蒸馏等技术，让小型学生模型向大型教师模型学习；通过嵌入量化技术，在不显著降低质量损失的情况下减少内存占用；以及通过级联排序技术，让低成本模型筛选候选模型，然后再由高成本模型重新排序，许多生产系统都能以极低的成本达到大型模型95%的准确率。
对于高效的推荐系统而言，哪些指标最为重要？
P50 和 P99 延迟、每台服务器每秒查询次数、每千次推荐成本、内存占用以及每次请求的能耗是主要指标。准确率指标固然重要，但需要根据这些运营限制进行权衡。团队通常会追踪效率调整后的准确率，即用质量提升除以实现这些提升所消耗的计算资源。
近似最近邻搜索有何作用？
像HNSW和IVF-PQ这样的ANN算法，无需与每个项目进行穷举比较，就能在嵌入空间中找到高度匹配项。系统无需对数百万个候选项目进行评分，只需几毫秒即可检索出前几百个最佳匹配项。这正是大型目录推荐系统得以实现的关键所在，因为精确搜索速度实在太慢。
量化对推荐模型安全吗？
现代量化技术，尤其是量化感知训练，能够很好地保持精度。Meta 和 Google 都已发表结果，表明 4 位甚至 2 位嵌入的质量损失极小。主要风险在于模型对微小的嵌入变化非常敏感时，此时混合精度方法或选择性量化效果更佳。
缓存对推荐效率有何影响？
缓存至关重要。热门商品嵌入、常用用户特征，甚至预先计算好的推荐列表都可以缓存，从而避免重复计算。Pinterest 和 TikTok 都报告称，积极的缓存策略可以将服务计算量降低 30% 到 50%。关键在于缓存失效机制——即何时缓存结果失效——这需要精心设计的流水线。
如何决定是投资于准确性还是效率？
首先要找出瓶颈所在。如果服务成本在基础设施账单中占比过高，或者延迟影响了用户参与度，那就投资提升效率。如果计算资源还有余力，但推荐效果不佳，那就投资提升准确性。大多数成熟的团队都采用组合式策略，只在边际收益大于边际成本的情况下才投入准确性预算。
在推荐标准中，变形模型总是优于更简单的模型吗？
不一定。Transformer 模型擅长序列建模，能够捕捉较长的用户历史记录，但其部署成本很高。对于许多目录和流量模式而言，经过精心调优的双塔或跨网络模型可以以远低于 Transformer 模型的成本达到相同的精度。Transformer 模型的优势在用户行为序列较长且内容丰富时最为明显。
什么是级联推荐系统？
级联系统按顺序使用多个模型：首先使用一个低成本、快速的模型生成候选结果，然后使用成本更高、精度更高的模型对候选结果进行重新排序。这样，您只需对排名前几百的项目进行大量计算，而无需对整个目录进行计算。YouTube、Meta 和 Spotify 等公司都采用这种架构。
硬件选择如何影响效率与精度之间的权衡？
GPU 更适合处理大型矩阵运算，并且有利于追求高精度的模型，而 CPU 和 TPU 等专用加速器则可以针对特定的服务模式进行优化。选择与模型架构相匹配的硬件可以显著改变性能权衡。在 CPU 上计算成本过高的模型，在优化的推理硬件上可能就能实现，因此，硬件感知型模型设计变得越来越重要。
裁决
当您大规模运营且服务成本或延迟直接影响最终收益时（大多数大型平台都面临这种情况），应优先考虑系统效率。如果您处于研究环境、目录较小，或者拥有强大的计算能力且需要提升哪怕一点点的质量，则应优先考虑纯粹的精度优化。在生产环境中，最明智的团队会首先设计效率，然后将精度预算投入到最关键的地方。
相关比较
AI编排系统与独立模型的使用
AI编排系统通过统一的框架协调多个模型、工具和数据管道，而独立模型的使用方式则是直接调用单个AI模型来完成每个任务。组织通常会根据复杂性、规模以及对多步骤自动化的需求来选择合适的方案。
AWS 与 Google Cloud 对比
该比较通过分析亚马逊云科技（Amazon Web Services）和谷歌云（Google Cloud）的服务产品、定价模式、全球基础设施、性能、开发者体验以及理想应用场景，帮助企业选择最符合其技术和业务需求的云平台。
Docker 与虚拟机
该对比通过分析 Docker 容器和虚拟机在架构、资源使用、性能、隔离性、可扩展性以及常见使用场景方面的差异，帮助团队决定哪种虚拟化方案最适合现代开发和基础设施需求。
Kafka 和 Flink 与内存处理对比
Kafka 和 Flink 构成了一个分布式流处理生态系统，用于实时数据管道，而内存处理则通过将数据完全保存在 RAM 中来加速分析——它们各自满足速度、规模和持久性方面不同的架构需求。
MLOps 流水线与传统软件 CI/CD 的比较
MLOps 流水线扩展了传统的 CI/CD 流程，增加了专为机器学习工作流程定制的模型训练、验证和监控阶段。传统的 CI/CD 侧重于代码部署，而 MLOps 则负责处理整个机器学习生命周期中的数据版本控制、实验跟踪和模型漂移检测。