人工智能深度学习模型优化神经网络机器学习

模型压缩与模型扩展

模型压缩通过缩小神经网络的体积，使其在更小的设备上运行得更快；而模型扩展则通过增大神经网络的体积，使其能够处理更复杂的任务并提高准确率。这两种方法都旨在实现同一目标——提升人工智能性能——但在规模和效率方面却采取了截然相反的策略。

亮点

压缩使模型更小更快；扩展使模型功能更强大、更精确。
压缩模型可以在手机和边缘设备上运行，而扩展模型需要数据中心硬件。
许多人工智能系统同时采用这两种方法——先进行大规模训练，然后再进行压缩部署。
扩展操作需要耗费数百万美元的计算资源；而压缩操作的实施成本仅为其一小部分。

模型压缩是什么？

一系列技术，旨在减少神经网络的规模和计算需求，同时尽可能保持其准确性。

剪枝、量化和知识蒸馏是现代深度学习中最广泛使用的三种压缩方法。
在相同的硬件上，压缩模型的运行速度有时可以比未压缩的版本快 3 到 10 倍。
Google 的 BERT 模型被压缩成 DistilBERT，参数减少了约 40%，而准确率仅略有下降。
量化可以将模型权重从 32 位浮点数缩小到 8 位甚至 4 位整数。
对于在智能手机、智能手表和嵌入式传感器等边缘设备上部署人工智能而言，压缩至关重要。

模型扩展是什么？

一种通过增加神经网络的规模、参数或容量来提高其学习能力和任务性能的策略。

GPT-3 包含 1750 亿个参数，大约是其前身 GPT-2 的 100 倍。
深度学习中的扩展规律表明，随着参数、数据和计算能力的共同增长，模型性能会以可预测的方式提高。
专家混合（MoE）架构扩展了模型容量，而无需在每次推理期间激活所有参数。
较大的模型往往展现出较小的模型根本无法复制的涌现能力。
模型扩展通常需要庞大的 GPU 集群，训练过程也会消耗大量能源。

比较表

功能	模型压缩	模型扩展
主要目标	减小模型规模并加快推理速度	提高产能和准确性
常用技术	剪枝、量化、知识蒸馏	扩展参数、MoE、更深层的架构
对模型尺寸的影响	显著缩小模型尺寸	大幅扩展模型
硬件要求	可在包括移动设备在内的配置一般的硬件上运行	需要强大的GPU或分布式集群
典型用例	边缘部署、移动应用、实时推理	研究、基础模型、复杂推理任务
对准确性的影响	精度略有下降是常见现象，但通常是可以接受的。	通常能提高准确性和能力
培训费用	较低，因为较小的模型训练速度更快	极高，通常高达数百万美元
推理速度	由于操作次数减少，速度更快。	除非进行优化，否则每次请求速度会变慢。

详细对比

核心理念与方向

模型压缩和模型扩展代表了深度学习中两种截然相反的理念。压缩关注的是“如何在不损失太多性能的前提下缩小模型规模？”，而扩展则关注相反的问题：“如何扩大模型规模以处理更复杂的问题？”这两种方法都取得了令人瞩目的成果，现代人工智能实验室通常会将二者结合使用——先训练一个庞大的模型，然后再对其进行压缩以便部署。

技术与方法

压缩依赖于剪枝（移除不必要的权重）、量化（降低数值精度）和知识蒸馏（训练一个小型学生模型来模仿一个大型教师模型）等方法。而扩展则侧重于添加更多层、更多参数或诸如专家混合模型之类的专用模块。每种方法都有其自身的工具包，具体选择很大程度上取决于部署场景。

硬件和成本考量

压缩模型旨在高效运行于内存和计算能力有限的手机、浏览器和物联网设备上。而扩展模型则需要配备高端GPU的数据中心，并且在训练过程中会消耗大量电力。一次前沿规模模型的训练仅计算成本就可能高达数百万美元，而压缩模型可能只需一台工作站即可完成训练。

性能权衡

压缩通常会牺牲一小部分准确率，以换取速度和体积的显著提升。扩展则往往能提高准确率，但代价是推理速度变慢和运行成本增加。有趣的是，研究表明，有时大型模型可以比小型模型进行更激进的压缩，因为它们包含更多可以安全移除的冗余信息。

实际应用

压缩技术为设备端语音识别、移动翻译应用和实时图像分类等产品提供支持。扩展技术则驱动着大型语言模型、图像生成器和科研工具等尖端系统。许多公司现在都采用“先大规模训练，再小规模部署”的流程——在开发阶段使用扩展技术，在最终面向用户的产品阶段使用压缩技术。

优点与缺点

模型压缩

优点

+ 较小型号尺寸
+ 更快的推理速度
+ 降低内存使用率
+ 可在边缘设备上运行

继续

− 精度略有下降
− 经常需要重新培训
− 复杂的管道设置
− 储蓄上限有限

模型扩展

优点

+ 更高精度
+ 更好的泛化能力
+ 新兴能力
+ 更强的推理能力

继续

− 极其昂贵
− 推理速度慢
− 高能耗
− 需要海量数据集

常见误解

神话

大型号总是比小型号好。

现实

在基准测试中，较大的模型通常表现更好，但对于许多实际任务而言，经过良好压缩的较小模型也能达到甚至超越它们的性能。合适的模型大小取决于问题、数据和部署限制，而不是单纯的参数数量。

神话

模型压缩总是会导致精度大幅下降。

现实

现代压缩技术，例如量化感知训练和知识蒸馏，可以保留原始模型 95% 到 99% 的准确率。实际准确率下降幅度取决于模型压缩的程度以及所使用的压缩方法。

神话

压缩模型的安全性低于全尺寸模型。

现实

压缩本身并不会使模型更容易或更不容易受到对抗性攻击。安全性取决于训练数据、架构和所采用的防御技术，而不是模型的大小。

神话

模型扩展就是增加更多参数。

现实

扩展还包括使用更优质的数据、更长的训练时间、改进的架构和更智能的训练目标。如果没有高质量的数据，简单地增加参数往往会导致收益递减。

神话

你必须在压缩和膨胀之间做出选择。

现实

大多数生产级人工智能系统都同时采用这两种方法。团队会训练大型模型以提升准确率上限，然后对其进行压缩，从而使最终产品运行速度快、成本低，便于大规模部署。

常见问题解答

模型压缩和模型扩展有什么区别？

模型压缩通过剪枝和量化等技术来减小神经网络的规模和计算需求，而模型扩展则增加网络的参数和容量以提升性能。它们的作用方向相反，但在现代人工智能流程中经常结合使用。

哪种设备更适合在移动设备上部署人工智能？

模型压缩显然是移动部署的最佳选择。量化等技术可以将模型缩小到原大小的一小部分，使其能够在内存和电池续航时间有限的智能手机上流畅运行。

既然训练大型模型成本很高，为什么公司还要进行训练呢？

大型模型通常具有更好的泛化能力，能够胜任多种任务，并能捕捉到小型模型无法捕捉到的模式。企业之所以投资扩展模型，是因为最终得到的模型可以稍后进行压缩，或者作为众多下游产品的基础，从而将成本分摊到多个应用场景中。

压缩模型能否达到与原始模型相同的精度？

在许多情况下，答案是肯定的。通过知识蒸馏和量化感知训练等精细技术，压缩后的模型可以保留95%到99%的原始准确率。具体的保留率取决于压缩比和模型架构。

模型可以压缩到什么程度？

压缩比因方法而异。剪枝可以移除 50% 到 90% 的权重，而量化可以将内存使用量减少 4 到 8 倍。一些激进的方法可以在保证精度损失极小的情况下实现 10 倍甚至更高的压缩率。

什么是知识提炼？

知识蒸馏训练一个较小的“学生”模型来复制一个较大的“教师”模型的行为。学生模型不仅从正确的标签中学习，还从教师模型的软概率输出中学习，通常比仅使用标签进行训练能获得更高的准确率。

较大的模型总是会展现出涌现能力吗？

并非总是如此。研究表明，涌现能力取决于具体的任务和评估方法。有些能力会在达到特定规模阈值时突然出现，而另一些能力则会随着模型的扩展而逐渐提升。

专家混合评定属于扩张还是压缩？

专家混合模型是一种扩展方法，因为它增加了模型的参数总数，但每次推理时只激活其中的一个子集。这使得模型既能发挥大型模型的优势，又能将计算成本控制在接近小型模型的水平。

尺度定律与模型扩展有何关系？

扩展规律描述了模型性能如何随着参数、训练数据和计算资源的增加而提升。这些规律指导研究人员如何决定模型扩展的规模，从而在不浪费资源的情况下获得显著的性能提升。

可以压缩已经展开的模型吗？

没错，这是标准做法。先训练一个较大的扩展模型，然后应用压缩技术生成一个较小的版本用于生产环境。扩展模型通常比从头开始训练的目标大小的模型压缩效果更好。

裁决

当您需要运行在硬件资源有限或需要实时响应的快速高效人工智能时，请选择模型压缩。当需要处理复杂问题，且准确性和功能比成本更重要，或者需要构建稍后压缩以便分发的基础模型时，请选择模型扩展。