上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速-阿里云开发者社区

开发者社区> 雷锋网> 正文
登录阅读全文

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速

简介: 本文讲的是上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速,神经网络的压缩和加速现在已经成为一个热门课题,这个领域有多种研究方法,网络量化就是其中之一。网络量化分为输入量化和权值量化两种。而同时将输入和权值量化会造成网络精度的大幅下降。
本文讲的是上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速,

神经网络的压缩和加速现在已经成为一个热门课题,这个领域有多种研究方法,网络量化就是其中之一。网络量化分为输入量化和权值量化两种。而同时将输入和权值量化会造成网络精度的大幅下降。在Performance Guaranteed Network Acceleration via High-Order Residual Quantization (性能保障的高阶残差量化网络加速方法)一文中,作者针对这个问题,提出了高阶残差量化(HORQ)的方法,既能够利用网络量化带来的大幅计算加速,又能够保证网络的精度不会大幅下降。

在近期雷锋网 AI研习社的线上分享会上,该论文第一作者李泽凡为我们详细解读了HORQ方法及相关推导过程 。

李泽凡,上海交大 CS 系二年级博士生,师从高文院士和张文军教授。 研究方向为神经网络理论、网络加速和压缩。

分享内容:

大家好,今天我将为大家带来我们在ICCV 2017上发表的文章——Performance Guaranteed Network Acceleration via High-Order Residual Quantization (性能保障的高阶残差量化网络加速方法)。

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

这篇文章的研究领域是网络加速和网络压缩。主要的网络加速和网络压缩方法可以分为如下三种类型,第一种是网络剪枝,第二种是低阶分解和低阶近似,第三种是网络量化和二值化。这篇文章的关注点在网络的二值化方法上。 

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

什么是网络的二值化/量化?这里以CNN的一个卷积层为例。

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

卷积层的二值化有两个优点,第一个优点是可以实现模型大小的压缩。

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

第二点是能加速计算。

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

接下来介绍这篇文章的motivation,之前的XNOR网络虽然能实现58倍的加速,但网络精度出现大幅下降。我们希望既能利用二值化带来的便利,也避免网络精度的大幅度下降。

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

说到这篇文章的方法之前,我们再来看看如何进行网络二值化。由浅入深,先来谈谈如何进行向量二值化。

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

向量二值化的目标如下:

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

求解如下最小二乘估计:

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

相当于求解如下问题,可以转化为如何最大化X转置乘以H的问题。

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

求解完H之后再来求解β,求解过程如下:

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

由此得到前面图中该最优化问题的解析解形式如下:

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

下面举个例子,如何运用向量二值化来二值化向量的內积。如下是四维向量相乘的例子: 

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结求解X和W內积的式子如下所示:

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

估算值为1.27875,与实际值0.76相比有很大误差。这也表示,用这样的方法进行向量二值化会带来很大误差,信息损失巨大。 

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

由此,我们的工作提出高阶残差量化,利用泰勒展开的方法,具体如下:

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

如图左所示是原来二值化方法的信息损失,我们定义量化残差的概念来描述信息损失:

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

由此可以上升到二阶残差量化估计:

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

下面是从三维空间来看:

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

以此类推,我们可以定义K维残差估计:

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

接下来利用HORQ(高阶残差)方法来逼近我们刚才XW=0.76的例子:

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

下面求得X的二阶量化值,对W不用进行二阶二值估计,因为在之前网络中对权值进行二阶二值估计对网络的影响不是很大,我们只讨论对输入进行高阶残差估计方法。XW的值如下:

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

最后的结果如下:

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

同理作出三阶二值估计:

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

三阶量化的结果如下,在0.81左右。

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

同理可以做四阶二值估计,有一个很有意思的结论,对于n维向量X,它最多只有n阶二值估计。

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

把这些残差估计做一个汇总,如下:

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

这是一些HORQ框架下理论上比较有趣的结果。结论一:二值的残差一定是跟相应阶数下的二值向量垂直。

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

推导过程如下,另外还有一些小结论:

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

下面这张图中可以应用上面推导出来的定理。

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

结论二:随着i的增加信息损失是逐渐减少的。

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

第三个结论如下图:

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

接下来讲一下如何将HORQ的方法应用到矩阵乘法中。

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

实际上矩阵乘法可以看成一个行向量和一个列向量的乘积。

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

话说回来,如何利用HORQ的方法计算卷积层呢?

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

这里涉及到tensor reshape过程,具体的过程如下:

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

下面是原始的卷积网络以及对权值和输入二值化来进行卷积操作,这样带来的信息损失巨大。

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

HORQ提出了下面这样一个框架模型。

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

下面是一些实验结果,可以看到在一些小数据集上都有不错的表现,基本上可以降低一半的误差。图中也给出了不同阶数的加速比。

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

下面是加速比的一些理论分析,加速比与三个因素有关,公式如下:

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

可以看到参数之间的相关关系:

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结

接下来是一些问题。实际上HORQ网络模型依赖于二值化矩阵乘法的计算,需要一些比较合适的框架,二值模型的存储和载入与浮点数的存储和载入不一样。

上海交大CS系博士生李泽凡:利用高阶残差量化(HORQ)方法进行网络加速 | 分享总结







本文作者:Non
本文转自雷锋网禁止二次转载,原文链接

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享: