开发者社区> 工程师U> 正文

量化感知训练实践:实现精度无损的模型压缩和推理加速

简介: 本文以近期流行的YOLOX[8]目标检测模型为例,介绍量化感知训练的原理流程,讨论如何实现精度无损的实践经验,并展示了量化后的模型能够做到精度不低于原始浮点模型,模型压缩4X、推理加速最高2.3X的优化效果。
+关注继续查看

1. 概述

对深度学习模型进行低比特量化,可以有效地降低模型部署时在存储、计算、通信上的开销,是一种常见的模型压缩和推理优化技术。然而,模型量化在实际应用中仍然存在不少挑战,最为常见的问题就是模型精度下降(如无特殊说明,本文中“模型精度”是指准确率等模型应用于具体任务的效果指标)。以计算机视觉领域为例,在目标检测、图像分割等复杂任务上,量化带来的精度下降更为明显。

通过在模型训练阶段引入量化相关约束,即量化感知训练(Quantization-aware training,QAT),能够更好地解决模型量化的精度问题。本文以近期流行的YOLOX[8]目标检测模型为例,介绍量化感知训练的原理流程,讨论如何实现精度无损的实践经验,并展示了量化后的模型能够做到精度不低于原始浮点模型,模型压缩4X、推理加速最高2.3X的优化效果


2. 量化原理

在数字信号处理领域,量化是指将信号的连续取值(或者大量可能的离散取值)近似为有限多个(或较少的)离散值的过程。具体到深度学习领域,模型量化是指将浮点激活值或权重(通常以32比特浮点数表示)近似为低比特的整数(16比特或8比特),进而在低比特的表示下完成计算的过程。通常而言,模型量化可以压缩模型参数,进而降低模型存储开销;并且通过降低访存和有效利用低比特计算指令等,能够取得推理速度的提升,这对于在资源受限设备上部署模型尤为重要。

给定浮点类型的值,可以通过如下公式将它转化成8比特量化值:

image

其中,image表示量化的scale,imageimage分别表示量化值域的最小值与最大值,image表示输入浮点值,image表示量化后的值。量化值转化为浮点值只需执行反操作即可:

image

进一步的,在将输入数据和权重进行量化后,我们就能够将神经网络的常见操作转换为量化操作。以卷积操作为例,其量化版本典型的计算流程如图1所示:

image

图1 典型的量化卷积算子计算流程图


  1. 权重与输入先量化成8bit,进行卷积操作,用32bitimage来存储中间结果;
  2. bias量化为32bit,与image进行相加为image
  3. 利用imageimage以及image的量化scale将32bit的image转化为8bit的image
  4. 如果该层的下一层也是量化OP,则image可直接输出给下一层;如果是非量化OP,则将image反量化为浮点值后,再输出给下一层。


从上述量化计算的原理能够容易看出,将浮点数转化为低比特整数进行计算会不可避免地引入误差,神经网络模型中每层量化计算的误差会累积为模型整体精度的误差。常见的训练后量化(Post Training Quantization,PTQ)方案中,通过统计在典型输入数据情况下,待量化变量的数值分布,来选择合适的量化参数(scale,zero point等),将因量化而引入的信息损失降低到最小。

但是PTQ方案往往还是无法实现精度无损的模型量化,为了进一步降低量化带来的精度下降,我们可以采用量化感知训练的方案,在训练的计算图中引入伪量化的操作,通过微调训练(finetuning)让模型权重“适应”量化引入的误差,以实现更好的、甚至无损的量化模型精度。


3. YOLOX量化训练

我们以YOLOX-s目标检测模型(GitHub repo[1])为例,使用公开的预训练模型参数,在COCO2017数据集上进行量化训练实验。量化训练算法选择LSQ[2,3],该系列算法利用梯度来更新量化的scale与zero_point,在不需要精细调节参数的情况下能够获得较好的性能。为了通过量化训练获得更好的量化模型精度,我们需要重点关注如下几点设置:

3.1 与部署后端相匹配的量化方式

不同的部署后端,可能采用不用的量化计算实现方式,需要匹配训练和部署阶段的量化方式以避免引入额外误差。以PyTorch[7]默认的CPU后端为例,基本的量化方式为

    • weight: per-channel,int8,对称量化
    • activation: per-tensor,uint8,非对称量化
    • 量化对象: 所有的Conv2d

以移动端框架MNN为例,基本的量化方式为:

    • weight: per-channel,int8,对称量化
    • activation: per-tensor,int8,对称量化
    • 量化对象: 所有的Conv2d

通常在具体推理框架上部署量化模型时,还会对类似conv-bnconv-relu/relu6conv-bn-relu/relu6这样的卷积层进行算子融合,因此需要设置为量化融合后的activation。YOLOX中的SiLU激活函数通常不会被融合,output activation的量化仅需要设置到bn的输出,而不是SiLU的输出。训练时一个典型的卷积层量化位置如图2所示。

image

图2 量化位置示意图

同时,QAT时所有的BN全部fold入相应的卷积中,实验采取了文献[6]中的fold策略。由于模拟量化的引入可能会使得BN层的running_mean与running_var不稳定,从而导致量化训练无法收敛。因此,我们在量化训练中固定BN的running_mean与running_var

此外,特定部署后端的实现可能需要将activation量化为7bit数值范围,以防止计算溢出。带有avx512_vnni指令集的CPU型号上,则没有相应要求。


3.2 量化训练参数初始化

为了避免导致训练loss不稳定甚至训练发散的情况,我们利用训练后量化(Post training quantization,PTQ)所得的量化参数来初始化LSQ量化训练中activation scale参数。基本的步骤是:

    • 选取几十张典型图片,在预训练模型上进行推理,并收集统计各个待量化的activation信息。
    • 使用如MSE、KL散度等metric来计算各activation的最佳scale。

基本的实现方式可以使用PyTorch的HistogramObserver计算activation scale & zero point,PerChannelMinMaxObserver计算weight scale。

3.3 训练超参数

在QAT阶段,我们使用已经收敛的预训练模型权重,并且使用PTQ量化参数进行QAT初始化。这种情况下,模型参数已接近收敛,因此我们将整体训练的超参数和原始YOLOX训练保持一致,将学习率设置为原始训练收敛阶段的学习率,即5e-4。


3.4 特定后端算子实现的计算误差

因为数值表示精度问题,round操作的结果在训练框架与推理后端上可能并不是相同的,例如:

import torch


torch.tensor(2.5).cuda().round()  # 输出tensor(2., device='cuda:0')

torch.tensor(3.5).cuda().round()  # 输出tensor(4., device='cuda:0')

2.5和3.5的四舍五入行为在PyTorch上并不是相同的,而该行为差异在常见的部署后端框架上可能不存在。这种问题会导致QAT模拟精度和后端实际运行时的精度存在明显差异,因此需要在量化训练阶段进行修正。例如针对MNN后端,我们可以采取如下操作来避免这个差异。

def round_pass(x):

    """

    A simple way to achieve STE operation.

    """

    # y = torch.round(x) # for PyTorch backend

    y = (x + torch.sign(x) * 1e-6).round()  # for mnn backend, round前添加一个小的数值

    y_grad = x

    return (y - y_grad).detach() + y_grad


4. 实验结果与分析

4.1 精度和加速效果

按照上述方式在YOLOX-s模型上进行量化训练,使用COCO2017 validation set进行精度验证,结果如表1所示。两种后端上真实量化的模型的精度性能均和浮点模型齐平。

量化方式

模型

(YOLOX-s)

mAP

@0.5:0.95

mAP

@0.5

mAP

@0.75

-

浮点模型

40.5

59.3

43.8

权重:对称量化

激活值:对称量化

PTQ

39.3

58.5

43.0

QAT

40.8

59.9

44.1

真实量化模型

40.6

59.7

44.2

权重:对称量化

激活值:非对称量化

PTQ

39.9

58.9

43.2

QAT

40.7

59.8

43.9

真实量化模型

40.5

59.8

43.7

表1 浮点模型、QAT模型及后端真实量化模型的精度对比



速度实验中,我们选取PyTorch[7]后端及x86测试平台进行测试,测试的图片分辨率为1x3x640x640。不同资源数下的结果如表2所示。在精度无损的前提下,量化模型的推理速度最高可以提升2.35x,同时模型尺寸为原来的1/4。

后端

浮点速度

(ms)

量化速度

(ms)

加速比

设备

线程数

PyTorch

321.2

189.9

1.70x

Intel(R) Xeon(R) Platinum 8369HC CPU @ 3.30GHz

1

218.3

106.2

2.06x

2

117.3

57.7

2.03x

4

75.3

34.1

2.21x

8

57.9

24.7

2.35x

16

表2 浮点模型、QAT模型及后端真实量化模型的速度对比


4.2 量化参数初始化的影响

LSQ及LSQ+论文中提出了相应的量化信息初始化方法,实际使用中会发现该种初始化方法对于学习率的设定会比较敏感。一方面,若量化参数的初始值距离收敛值较远,需要通过设置较大的学习率来训练他们。另一方面,较大的学习率会使得模型本身参数跳出已收敛的状态,使得模型进入“重训练”的状态,不确定性增加。而用PTQ来初始化量化参数,可以使得参数处于较优的初始状态,利用浮点模型收敛时的学习率去进行finetune即可获得较好的性能。固定学习率为4e-5的前提下,PTQ及LSQ初始化的训练结果与曲线如图4所示。LSQ初始化的训练曲线在开启mossac数据增强时是逐渐向下的,而PTQ初始化是逐渐向上的。

image

图4 固定finetune学习率下,不同初始化方法的训练曲线

4.3 训练超参数的影响

学习率的设定会直接影响到最终QAT模型的性能。以原始模型训练收敛阶段的学习率(5e-4)为基准,如果QAT阶段使用相同的学习率,QAT初期的模型精度会逐渐下降,如图4中PTQ初始化红色曲线训练早期所示,但是最终精度会提升至原始非量化模型的水平。如果QAT使用更低学习率(例如5e-4),模型精度会相比于PTQ初始化状态逐渐上升,但是最终精度提升不大:


学习率

mAP@50:95

Baseline

-

40.8

PTQ

-

39.4

QAT

5e-6

39.9

QAT

7.5e-6

39.8

QAT

2.5e-6

39.8

上述现象的一种可能原因是,在小学习率下模型权重、量化scale基本不变。实际上是基于PTQ的初始解空间继续向局部更好的收敛点靠近,跳出局部解空间的可能性较低。因此,在PTQ初始化的前提下,学习率可以直接设置成浮点模型训练收敛阶段的值。


4.4 训练轮数的选择

上述QAT的结果是训练300 epochs后的模型,减少训练epoch数量的结果,如下所示:


学习率

AP

@50:95

mAP

@0.5

mAP

@0.75

QAT(300 epoch)

5e-4

40.8

59.9

44.1

QAT(15 epoch)

5e-4

39.6

58.5

43.3

QAT(30 epoch)

5e-4

39.8

58.8

43.0

可以看出随着训练轮数的增大,QAT的结果会更好。QAT训练轮数较低,结果会不如直接用小学习率进行finetune。我们可以得出经验性的trade-off:如果计算资源充足,可以选择训练更长的时间来获得更好的性能。如果计算资源较少,则可以用小学习率训练较短的时间,以获得高于PTQ的性能。


4.5 修正特定算子计算误差的影响

特定算子在训练框架与后端框架中的行为会有细微的差别,这会导致量化训练精度与实际量化模型的精度产生较大的差异。以MNN[5]为例,在YOLOX模型中存在如下两类OP会导致该现象。

修正round操作的影响

是否对round进行修正的结果如表3所示。从训练角度而言,round经过修正后的性能会略好于未修正的。同时如果在训练时round的行为与后端不一致的话,可能会导致真实量化模型的精度发生较大的变化。

mAP

@0.5:0.95

mAP

@0.5

mAP

@0.75

修正

40.8

59.9

44.1

未修正

40.5

59.9

32.9

表3 round修正对于量化训练的影响

Sigmoid快速实现引入的误差

为了提升指数计算的速度,后端框架通常会采取一些快速近似计算。这对于浮点模型而言,通常不会引入较大的误差。但是对于量化模型而言,这个误差可能因为量化操作而被放大。

如图3所示,对于YOLOX的主要pattern(Conv -> SiLU -> Conv),前一层Conv的输出经过SiLU函数后,快速近似计算引入的误差会被后一层卷积输入处的量化操作(除以scale)而缩放。scale越小,缩放的程度越大。以YOLOX-s为例,是否对指数计算进行近似的量化模型精度如表4所示。

image

图3 YOLOX量化pattern

mAP

@0.5:0.95

mAP

@0.5

mAP

@0.75

近似

40.2

59.5

43.7

未近似

40.6

59.7

44.2

表4 指数计算的近似带来的模型性能误差



5. 总结

本文通过在YOLOX目标检测模型上的量化实践,验证了通过量化感知训练(QAT)能够在精度无损的情况下,获得显著的模型压缩和推理加速。我们对量化精度误差因素进行了具体分析,指出了解决精度问题的一系列实践手段,并通过实验验证了效果,这可以作为我们在实际应用模型量化时的经验参考。虽然量化相关方法已经被大量研究,但是在实际复杂任务中应用量化仍然面临不少挑战,真正将量化压缩落地,更需要通过模型和系统两方面的协同。此外,还有更多量化训练相关的技术方案(如混合精度量化、更低比特量化等)值得探索和完善。


关于我们

本文中关于量化训练实践工作由阿里云-PAI模型压缩团队和微软NNI团队合作完成,也感谢MNN团队的技术支持。更多模型压缩的算法实现可参考NNI(GitHub repo[4]),更多模型推理优化技术方案可见阿里云PAI-Blade


参考文献&代码仓库

[1] https://github.com/Megvii-BaseDetection/YOLOX

[2] Esser S K, McKinstry J L, Bablani D, et al. Learned step size quantization[J]. arXiv preprint arXiv:1902.08153, 2019.

[3] Bhalgat Y, Lee J, Nagel M, et al. Lsq+: Improving low-bit quantization through learnable offsets and better initialization[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. 2020: 696-697.

[4] https://github.com/microsoft/nni

[5] Jiang X, Wang H, Chen Y, et al. Mnn: A universal and efficient inference engine[J]. arXiv preprint arXiv:2002.12418, 2020.

[6] Jacob B, Kligys S, Chen B, et al. Quantization and training of neural networks for efficient integer-arithmetic-only inference[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 2704-2713.

[7] Paszke A, Gross S, Massa F, et al. Pytorch: An imperative style, high-performance deep learning library[J]. Advances in neural information processing systems, 2019, 32: 8026-8037.

[8] Ge Z, Liu S, Wang F, et al. Yolox: Exceeding yolo series in 2021[J]. arXiv preprint arXiv:2107.08430, 2021.

若有收获,就点个赞吧


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
论文 | 用于移动端模型自动压缩与加速的AutoML
移动设备的计算资源和能耗预算都很有限,因此模型压缩对于在移动设备上部署神经网络模型至关重要。传统的模型压缩技术依赖手工设计的启发式和基于规则的策略,需要领域专家探索较大的设计空间,在模型大小、速度和准确率之间作出权衡。
2031 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
14208 0
如何设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云安全组设置详细图文教程(收藏起来) 阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程。阿里云会要求客户设置安全组,如果不设置,阿里云会指定默认的安全组。那么,这个安全组是什么呢?顾名思义,就是为了服务器安全设置的。安全组其实就是一个虚拟的防火墙,可以让用户从端口、IP的维度来筛选对应服务器的访问者,从而形成一个云上的安全域。
18586 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
27734 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,大概有三种登录方式:
12973 0
端上智能——深度学习模型压缩与加速
随着深度学习网络规模的增大,计算复杂度随之增高,严重限制了其在手机等智能设备上的应用。如何使用深度学习来对模型进行压缩和加速,并且保持几乎一样的精度?本文将为大家详细介绍两种模型压缩算法,并展示了阿里巴巴模型压缩平台和前向推理工具。
5323 0
阿里云服务器安全组设置内网互通的方法
虽然0.0.0.0/0使用非常方便,但是发现很多同学使用它来做内网互通,这是有安全风险的,实例有可能会在经典网络被内网IP访问到。下面介绍一下四种安全的内网互联设置方法。 购买前请先:领取阿里云幸运券,有很多优惠,可到下文中领取。
21936 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
15295 0
+关注
58
文章
3
问答
来源圈子
更多
相关文档: 机器学习平台PAI
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载