学习笔记——神经网络压缩

2022-11-12 107

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 学习笔记——神经网络压缩

当我们需要将模型部署在一些移动设备上时，但是现在的移动设备的资源是有限的，而存储的空间也是有限的，计算量也是有限的，所以就不能存太大的网络结构，否则就不能实时进行。

一、Network Pruning——网络剪枝

大概的意思就是将一个比较大的network，他的一些weight或者是一些neuron剪掉，让他变得比较小。

问题：为什么能够剪枝处理？

因为现在一般会相信，网络通常被过度参数化（存在大量冗余权重或神经元）

那些现在，将这些没有用到的权重或者是神经元将其剪掉，这样处理之后就会得到一个比较小的网络结构。

如图所示，现在一般来说有一些简单的步骤：

1）将训练好的网络去评估weight与neuron的重要性，进行一个排序，然后剔除比较靠后的值。

如何衡量一个weight或者是一个neuron的重要性呢？

如果一个weight的值接近于0，那可以相信这个weight是没有那么重要的，而当这个weight的值正很大或者是负很大，那么有理由相信其是比较重要的。

同样的，对于一个神经元来说，如果一个神经元的输出几乎为0，那么就有理由相信这个神经元是没有什么作用的。

2）剪枝之后，将网络进行微调，如果模型已经够小了，那么就可以结束剪枝操作了，如果还比较大，那么可以重复这个过程直到满足要求为止。

但是，既然大的网络需要剪枝处理，那么为什么一开始就不训练一个小的网络呢？一个可能的感受是，小的网络比较难以去训练，然后大的网络比较容易去优化，去优化。一般来说，训练过程中存在鞍点或者局部最优解的问题。而如果网络够大，那么这种情况就不会太严重。现在有足够多的文献可以证明，只要网络够大够深，就可以用gradient descent直接找到全局最优解。所以训练一个大的网络，再剪枝处理是比较好的

一个比较好玩的解释是，在一个大的网络结构中，其实可以看成是有很多个小的网络组成的，每一个小的网络就有可能是一种初始化的参数，而这些小的网络有些可以train起来，而有些会train不起来。所以大的网络结构中容易训练的原因可能是，其中这么多个小网络，只有有一个可以train起来了，那么大的网络就可以train起来了。paper链接：https://arxiv.org/abs/1803.03635

问题：prun weight与prun neuron哪个会比较好？

在实际的操作过程中，如果是prun weight其实是不太好实现的，因为网络架构变得不规则。有些神经元有2个输入，而有些有4个。

就算是有办法实现，由于是不规则矩阵，所以就没有办法使用GPU加速的。使用一般来说，将weight设为0，就是假设其被prun掉了。但是这样做的话其实是没有减小模型的大小的。

所以，prun neuron是比较容易操作的，因为网络架构是规则的。

二、Knowledge Distillation——知识蒸馏

如图所以，知识蒸馏的过程是相当于用一个大的模型去带一个小的模型。现在训练好一个比较大的模型，然后将这个大模型的输出让小模型去训练，这时候可能会得到一些比较好的结果。有时还会出现一些神奇的地方就是，小模型从大模型中知道了数字”7“长的比较像数字”1“与“9”，而当其没有看见过数字“7”的时候还可能正确的识别到。(为了获得更好的软标签)

另外一个比较有用的地方是，其可以将集成的模型全部变成一个模型，也就是将一堆模型的得到的结果去平均起来，然后让这个学生模型去学习这个Emseble Network的output，现在希望这个student Network的结果与这个ensemble的结果一样。所以现在只需要一个model就可以得到类似ensemble的效果。