模型量化、剪枝与蒸馏对比：原理、场景和选择标准详解

模型量化、剪枝与蒸馏是三类模型压缩方法。对比降低精度、删除冗余结构和知识迁移机制，说明如何选择量化、剪枝或蒸馏，适用于快速部署、硬件适配与小模型精度保持场景。

什么是模型量化、剪枝与蒸馏？

模型量化、剪枝与蒸馏都是常见的模型压缩和大模型轻量化方法，目标是在尽量控制精度影响的前提下，降低模型部署、推理或运行资源成本。三者的压缩入口不同：量化主要改变数值表示，剪枝主要精简网络结构，蒸馏主要通过训练完成能力迁移。

可以把模型理解为一套复杂的计算系统：量化像是用更省空间的数字格式记录参数，剪枝像是移除系统中冗余或不重要的部件，蒸馏则像是让一个更小的学生模型学习大模型的能力。

模型量化

模型量化的核心是降低参数或数值表示的精度。例如，将原本更高精度的参数表示转换为更低精度的表示，从而减少资源占用，并提升部署便利性。

量化通常适合对显存、存储、推理成本和上线速度敏感的场景。已有资料常将量化概括为“降精度，快部署”，但具体收益会受到模型结构、精度格式、推理框架和硬件环境影响。

模型剪枝

模型剪枝的核心是删除神经网络中不重要或冗余的部分，使模型结构更精简。它关注的不只是参数文件大小，还包括连接、通道、层或其他结构单元是否存在可移除的冗余。

剪枝常用于希望降低模型结构复杂度的场景，也可能用于适配专用硬件。但剪枝后的结构能否真正带来速度或资源收益，还取决于运行环境是否能有效利用这种精简结构。

知识蒸馏

知识蒸馏的核心是知识迁移：用较大的教师模型指导较小的学生模型训练，使小模型在规模更小的情况下尽量保持较高精度。

与量化和剪枝不同，蒸馏通常不是直接修改已有模型的数值精度，也不是简单删除结构，而是通过训练得到一个更小的模型。它更适合希望保留大模型能力、同时降低模型规模的场景。

三类方法的核心区别

模型量化、剪枝与蒸馏不是同一种技术的不同叫法，而是从不同角度压缩模型。理解它们的关键，是先看每种方法“改了什么”。

要点： 量化主要回答“能不能用更低精度表示模型”，剪枝主要回答“哪些结构可以删掉”，蒸馏主要回答“小模型能不能学到大模型的能力”。

模型量化的原理与适用场景

模型量化通过降低参数精度或数值表示精度来减少资源占用。对于大模型推理来说，参数和中间计算通常会带来较高的显存、存储和带宽压力，因此降低数值表示精度可以帮助模型更容易部署到资源受限环境中。

一些资料会用“显存节省”来描述量化收益，也可能给出较高比例的示例。但这类数字不能直接作为通用承诺，因为实际节省比例取决于模型规模、量化方式、运行时实现、硬件和推理框架。

适合优先考虑量化的情况

选择量化前应检查什么

• 目标硬件是否支持相应低精度计算。
• 推理框架是否支持所需的量化格式和执行路径。
• 量化后核心任务精度是否仍在可接受范围内。
• 量化带来的资源节省是否能转化为实际延迟或吞吐收益。
• 是否需要额外校准、微调或验证流程。

模型剪枝的原理与适用场景

模型剪枝通过去除神经网络结构中不重要或冗余的部分来压缩模型。它的目标是让模型本身变得更精简，而不仅仅是改变参数保存格式。

剪枝关注的是网络拓扑或结构层面的变化。例如，在某些模型中，部分连接、通道或结构单元对最终输出贡献较小，就可能成为剪枝候选。但剪枝是否有效，需要通过精度和部署性能评估来确认。

剪枝与量化的关键差异

量化主要改变数值表示，剪枝主要改变网络结构。一个模型经过量化后，结构可能仍然相同；而经过剪枝后，模型的结构复杂度或有效计算路径可能发生变化。

这也意味着剪枝的工程收益更依赖部署环境。如果运行框架或硬件不能利用剪枝后的精简结构，理论上的参数减少未必会等比例转化为推理加速。

适合优先考虑剪枝的情况

选择剪枝前应检查什么

• 模型是否存在可识别的结构冗余。
• 剪枝粒度是否适合目标硬件和推理框架。
• 剪枝后的结构是否能被实际部署环境加速。
• 精度损失是否可接受，是否需要恢复训练。
• 剪枝带来的工程复杂度是否超过收益。

知识蒸馏的原理与适用场景

知识蒸馏通过教师模型向学生模型迁移知识，使较小模型在模型规模降低后尽量保持较高精度。它通常需要一个能力较强的教师模型，以及一个待训练或待优化的学生模型。

蒸馏的重点不是直接把原模型文件变小，而是训练出一个更小的模型。因此，它更依赖训练数据、训练流程和评估体系，也更适合具备重新训练条件的团队。

蒸馏与量化、剪枝有什么不同

适合优先考虑蒸馏的情况

选择蒸馏前应检查什么

• 是否有可用且质量足够的教师模型。
• 是否能获得训练数据或任务相关样本。
• 是否能接受重新训练和调参成本。
• 学生模型的目标规模与精度要求是否明确。
• 蒸馏后的模型是否仍需量化或剪枝进一步优化。

如何选择量化、剪枝或蒸馏

选择模型压缩方法时，应先明确目标，而不是只看压缩率。不同方法都可能减轻模型部署负担，但它们解决问题的入口不同，适用约束也不同。

按目标选择

按约束条件选择

三类方法能否组合使用

量化、剪枝与蒸馏可以被视为方向不同的模型压缩技术，在工程上存在组合使用的空间。例如，先通过蒸馏获得较小模型，再对学生模型做量化；或者在剪枝后继续评估是否适合量化。

更稳妥的做法是：

1. 先确定最重要的业务指标，例如精度、显存、延迟或部署周期。
2. 分别验证单项方法的效果，避免一开始就叠加多个变量。
3. 在单项效果可控后，再评估组合方案。
4. 对组合后的模型重新评估精度、推理延迟、资源占用和部署复杂度。

要点： 组合压缩不等于收益简单相加。多种方法叠加后，精度变化、调试难度和部署风险也可能同步增加。

常见误区与效果评估

模型压缩的结果不能只用“模型变小了”来判断。更可靠的评估方式，是把精度、资源占用、推理性能和工程复杂度放在一起看。

误区一：量化一定会提升速度

量化的核心首先是降低精度和资源占用，是否带来明显速度提升取决于硬件、推理框架和执行路径。如果硬件对低精度计算支持不足，量化后的速度收益可能有限。

误区二：剪枝只是删除参数

剪枝更关注网络结构或拓扑层面的精简。单纯参数数量减少，并不必然代表实际推理更快；只有当剪枝后的结构能被框架和硬件有效利用时，才更可能转化为部署收益。

误区三：蒸馏等同于压缩文件大小

知识蒸馏依赖教师模型向学生模型迁移知识，本质上是一种训练方法。它的目标是让小模型尽量保留能力，而不是简单压缩已有模型文件。

效果评估检查清单

在实际项目中，可以先用一小组代表性任务样本进行验证，再逐步扩大测试范围。对于面向线上服务的大模型，还应同时观察精度变化、资源占用、响应延迟和稳定性，而不是只看某一个单点指标。

原文链接：https://www.qianwenai.com/discover/model-quantization-pruning-distillation-comparison