开发者社区> 刘新伟> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

CNN 使用小卷积核而非大卷积的好处

简介:
+关注继续查看

大尺寸的卷积核可以带来更大的感受野,但也意味着更多的参数,并且《Rethinking the Inception Architecture for Computer Vision》的作者提出可以用 $2$ 个连续的 $3\times3$ 卷积层( stride=1)组成的小网络来代替单个的 $5\times 5$卷积层可以保持感受野范围的同时又减少了参数量:

卷积核设置 参数个数
一个 $5\times 5$ $5\times 5+1=26$
两个级联的 $3\times 3$ $(3\times 3+1)\times 2=20$

由于参数个数仅与卷积核大小有关,所以 $3\times 3$ 级联卷积核占优势,并且用 $2$ 个级联的 $3\times3$ 卷积层( stride=1)组成的小网络来代替单个的 $5\times 5$卷积层增加了非线性变换的操作使得模型的泛化能力进一步的提高。

  • 两个 $3\times 3$ 的堆叠卷基层的有限感受野是 $5\times 5$ ;三个 $3\times 3$ 的堆叠卷基层的感受野是 $7\times 7$,故可以通过小尺寸卷积层的堆叠替代大尺寸卷积层,并且感受野大小不变。
  • 多个 $3\times 3$ 的卷基层比一个大尺寸卷积层有更多的非线性(更多层的非线性函数),使得判决函数更加具有判决性,并且起到隐式正则化的作用。
  • $1\times 1$ 卷积核除了具有降低参数量和增加非线性的作用外,还可以起到对通道数的升降进行控制的作用 (达到特征降维和升维的作用)。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
C#编程-98:索引器在接口中的使用
C#编程-98:索引器在接口中的使用
13 0
Java开发神器Lombok的使用与原理
Java开发神器Lombok的使用与原理
65 0
C#编程-98:索引器在接口中的使用
C#编程-98:索引器在接口中的使用
90 0
vue.js 使用小结
2016年12月10日 17:18:42 星期六 情景: 主要介绍 v-for 循环时对变量的处理方法 主要以table标签为例 1. 为 tr 标签动态添加属性 1 2 3 //效果: 2.
776 0
下载 sdk struts java
          application/octet-stream;charset=ISO-8859-1 attachment;fileName="${fileName}" downloadFil...
719 0
javascript内存泄露工具使用
javascript内存泄露的问题一直以来都不受到大家的重视,原因是对用户的影响没有太实际的表现,或许近几年内存发展迅速。脚本内存再泄露也不会有太大影响。当然作为前端开发的同学们,就不能有这样的侥幸心理。
824 0
+关注
刘新伟
自学 python,MXNet,Keras,Tensorflow 博客园:http://www.cnblogs.com/q735613050/ 慕课网:https://www.imooc.com/u/546
文章
问答
文章排行榜
最热
最新
相关电子书
更多
机器能理解上下文吗-RNN和LSTM神经网络的原理及应用
立即下载
机器能理解上下文吗 RNN和LSTM神经网络的原理及应用
立即下载
神经网络结构设计
立即下载