随着移动端应用的兴起，应用安装包的压缩技术已经愈发成熟，在4G网络时代就可以轻松下载，我们手机上安装了各种各样的应用APP也依旧运行顺畅。模型压缩也是类似的效果，机器学习从理论研究逐渐尝试技术落地，AI工程化也成为趋势，模型压缩作为深度学习模型实现轻量化部署的有效手段，备受关注。
简单来说，模型压缩就是在尽可能不改变模型效果的情况下，减少模型的体积，使得模型有更快的运行速度，帮助减少深度模型端侧部署的资源消耗。
在2020年阿里双十一期间，淘宝直播APP上线的“一猜到底”语音交互游戏中，阿里云机器学习PAI平台的模型压缩技术体现了关键作用，在端智能应用场景实现了端侧智能的应用落地。
“一猜到底”游戏背后的模型压缩技术
淘宝直播APP上线的 “一猜到底”游戏：由当红主播现场推荐商品，粉丝以“语音猜价”形式参与互动。全新的互动形式搭配双十一，上线后带来一波疯狂上涨的流量，对模型性能和工程化能力要求极高。
图1 淘宝直播“商品价格竞猜游戏”: 1) 在淘宝直播找到“一猜到底”; 2) 首席猜价官吴佳煜; 3) 游戏现场，薇娅直播;
经过阿里多个技术团队打磨，“一猜到底”游戏已经成为端侧落地的成功案例，能够经受住淘宝直播高访问流量的严格考验。语音识别（ASR）技术，在准确率（Low Error Rate）和高实时率（High RTF）都有很好的表现。在此基础上，PAI团队提供了行之有效的模型压缩支持，在帮助压缩模型的同时、保证了语音识别的高准确率，并显著降低了模型在移动端部署时的ROM/RAM/RTF，即参数存储、运行时内存与实时率开销。
PAI模型压缩：混合精度量化技术
模型压缩是PAI云端一体解决方案的重要环节。如图2所示，在移动端智能语音的E2E优化部署链路中，PAI模型压缩技术（混合精度后量化、量化训练、稀疏训练等）起着模型瘦身、复杂度降解的关键作用。
图2 PAI模型压缩在E2E链路中的关健作用
图3 SAN-M模型结构: 由特征驱动的Self-Attention、与训练驱动的DFSMN记忆单元相结合，实现全局相关性与局部相关性特征的有效融合
基于PAI团队研发的混合精度量化方法，有效实现了Transformer ASR（SAN-M）模型的离线后量化（PTQ：Post-training Quantization），主要创新点包括：
• 支持端到端Transformer的离线后量化，相比于拆图量化、量化训练等方法，端到端后量化具备快捷、高效的优势，能够帮助用户一键部署量化方案；
• 集成了丰富的后量化策略，为后量化的精度鲁棒性提供了坚实保证；
• 无Label干预的混合精度量化流程，无需提供数据标注，且能准确反映逐层量化的敏感度；
PAI模型压缩：支持端到端Transformer的离线后量化
由于Transformer模型存在自回归循环解码操作，较难直接获取解码器中的张量数据，因此现有的模型压缩框架和推理优化工具，鲜少支持端到端Transformer的离线后量化。
如图4所示，PAI团队的后量化方法，引入了循环张量探针（Tensor Probe）的使用，能够有效支持端到端Transformer的离线后量化。循环体内的张量（Tensor）通过若干个延迟单元的传输，构成了不同时刻的信号汇总。这些信号数据导出之后，便可有效支持离线量化参数的统计计算（KL、MSE或Cosine距离最小化等策略）。
图4 循环张量探针（Tensor Probe）的使用
PAI模型压缩：集成了丰富的后量化策略
在执行Transformer模型的逐层量化（Layer-wise Quantization）时，每个网络层的输入/输出张量、以及网络权重的量化，都会引入量化噪声，主要包括Round误差、Clip误差。
图5 逐层量化引入的量化噪声
PAI团队的后量化方法，集成了多种可改善量化效果的PTQ策略，允许用户在Post-training阶段妥善解决量化误差问题，以避免进一步使用量化训练（QAT：Quantization-aware Training）等繁重方法。具体的PTQ策略，包括改进的KL算法、EasyQuant、Bias Correction、ADMM等：
• KL算法的改进，能够有效减少输入/输出张量的量化噪声；并且可以根据Activation的数据分布，自动选择最佳KL策略；
• EasyQuant（参考文献 [1]）的使用，可进一步减少输入/输出张量的量化误差，尤其能改善INT7等更低精度量化的效果；
• Bias Correction（参考文献 [2]）通过网络权重量化偏差（均值与方差的偏差）的补偿，减少权重量化噪声；同时对Bias Correction的适当改进，增强了对达摩院Transformer ASR的补偿效果；
• ADMM（参考文献 [3]）亦可优化权重量化参数，减少权重量化噪声；也适当改进了ADMM的使用，从而在交替方向迭代范围内，确保权重量化误差最小；
• Weight Adjustment（参考文献 [4]）在Kernel weight按Per-tensor量化时，通过Per-channel形式的等价均衡变换，可以减少Weight量化误差。
PAI模型压缩：无Label干预的混合精度量化流程
如图6所示，基于多种后量化策略的有效集成，PAI团队提出了Label-free混合精度量化流程（Label-free AMP Pipeline, AMP：Automatic Mixed Precision）：
• 该流程从模型输入到混合精度决策，无需数据标注（Label）的干预，简洁易用、快捷有效；
• 量化误差按逐层统计，并能准确表示每个网络层的量化敏感度，为混合精度（INT8/FP32混合）决策提供了有效基础；
• 通过把控回退的网络层数，可选择出精度与模型容量折中最佳的帕累托最优解，完成多目标优化；
• 生成的混合精度量化表，能够对接移动端推理框架MNN，以生成低延迟、高推理精度的运行时推理引擎；从而构成了完整的工具链路，即从混合精度量化、到移动端的推理部署；
• AMP Pipeline不仅适用于移动端，也适用于CPU/GPU优化部署，体现了PAI云端一体的优势所在。
图6 Label-free混合精度量化流程（Label-free AMP Pipeline）
基于AMP Pipeline，在移动端部署Transformer ASR模型时，通过回退Op数的把控，可以实现WER (SER)与ROM/RAM (RTF)之间的合理折中，妥善解决多目标优化问题。需要注意的原则主要有：
• Model size、Latency与内存占用等，都会随着回退Op数的增加而增加，通常可以视作统一的目标函数，并以回退Op数作为自变量；
• 在相同的Pareto front上，回退Op数越多，通常WER越低、Model size越高，因此需要折中选择；
• 不同的Pareto front (取决于PTQ策略的改善效果)，回退相同的Op数，达到的折中状态有所不同；参考图7所示的Pareto fronts，都回退Op1，Pareto2的状态、优于Pareto1的状态；
• AMP目标：采用更有优势的PTQ策略，得到更好的Pareto front，为混合精度择优提供有效基础；
图7 两种Pareto front的对比
下表展示出了双十一使用的Transformer ASR模型，在众包测试集上的精度表现，包括FP32、全INT8、AMP INT8的对比。相比于原浮点模型，经过AMP INT8量化之后（回退3个Op，分类层保留为FP32实现），ASR模型的WER绝对损失低于0.1%、SER绝对损失低于0.5%、理论压缩比约为3.19倍。并且，量化模型对Bad case也体现出了较强的鲁棒性，助力淘宝直播“价格竞猜游戏”经受住了直播场景的严格考验。
表1 双十一模型在7K众包测试集上的表现
PAI模型压缩简介
离线量化相关的策略（包括PTQ/AMP等），已集成至Blade；并且支持随机稀疏压缩与PTQ叠加使用，例如60%稀疏度时，叠加INT8量化、压缩比可达6.6倍左右；
除了离线后量化之外，在诸如量化训练、网络剪枝、权重稀疏化与模型结构搜索等模型压缩领域，PAI团队也长期坚持耕耘。其中量化训练、稀疏训练与网络剪枝的产品化体验，可参考PAI用户手册。
以量化训练为例，PAI与阿里MNN团队合作提出了Winograd INT8量化与计算加速技术、并发表了合作论文 [5]。在下游迁移阶段，针对带有一维卷积（kernel size>=3）的ASR模型，经过Winograd INT8量化训练，能够有效确保ASR模型的量化精度鲁棒性，并进一步实现了一维卷积在移动端的INT8计算加速。从PAI量化训练、到MNN移动端优化部署，同样构成了完整的量化/优化工具链路。
图8 从大规模预训练、到量化微调、再到优化部署的工具链路
机器学习PAI平台面向企业客户及开发者，提供轻量化、高性价比的云原生机器学习平台，涵盖交互式建模、拖拽式可视化建模、分布式训练到模型在线部署的全流程覆盖。内置200+成熟算法、图像视觉、音视频、文本等AI领域高质量深度学习预训练模型50+，帮助开发者快速构建AI业务方案，全面提升机器学习工程效率。目前已在游戏、社区、媒体、广告平台的搜索推荐、多媒体内容处理、自动驾驶等多领域商用。全新官网：https://www.aliyun.com/product/bigdata/product/learn
扫码加入PAI钉钉交流群，最新干货资料等你来
参考文献：
[1] Di Wu, Qi Tang, Yongle Zhao, Ming Zhang, Ying Fu, Debing Zhang, "EasyQuant: Post-training Quantization via Scale Optimization", arXiv preprint 2006.16669, 2020.
[2] Ron Banner, Yury Nahshan, Elad Hoffer, Daniel Soudry, "Post-training 4-bit quantization of convolution networks for rapid-deployment", arXiv preprint 1810.05723, 2018.
[3] Cong Leng, Hao Li, Shenghuo Zhu, Rong Jin, "Extremely Low Bit Neural Network: Squeeze the Last Bit Out with ADMM", arXiv preprint 1707.09870, 2017.
[4] Markus Nagel, Mart van Baalen, Tijmen Blankevoort, Max Welling, "Data-Free Quantization Through Weight Equalization and Bias Correction", arXiv preprint 1906.04721, 2019.
[5] Yiwu Yao, Yuchao Li, Chengyu Wang, Tianhang Yu, Houjiang Chen, Xiaotang Jiang, Jun Yang, Jun Huang, Wei Lin, Hui Shu, Chengfei Lv, "INT8 Winograd Acceleration for Conv1D Equipped ASR Models Deployed on Mobile Devices", arXiv preprint 2010.14841, 2020.
作者：益武、小豌、莱茵、熊兮、嘀豆、执真、临在、穆琢
