CNN 使用小卷积核而非大卷积的好处

简介:

大尺寸的卷积核可以带来更大的感受野,但也意味着更多的参数,并且《Rethinking the Inception Architecture for Computer Vision》的作者提出可以用 $2$ 个连续的 $3\times3$ 卷积层( stride=1)组成的小网络来代替单个的 $5\times 5$卷积层可以保持感受野范围的同时又减少了参数量:

卷积核设置 参数个数
一个 $5\times 5$ $5\times 5+1=26$
两个级联的 $3\times 3$ $(3\times 3+1)\times 2=20$

由于参数个数仅与卷积核大小有关,所以 $3\times 3$ 级联卷积核占优势,并且用 $2$ 个级联的 $3\times3$ 卷积层( stride=1)组成的小网络来代替单个的 $5\times 5$卷积层增加了非线性变换的操作使得模型的泛化能力进一步的提高。

  • 两个 $3\times 3$ 的堆叠卷基层的有限感受野是 $5\times 5$ ;三个 $3\times 3$ 的堆叠卷基层的感受野是 $7\times 7$,故可以通过小尺寸卷积层的堆叠替代大尺寸卷积层,并且感受野大小不变。
  • 多个 $3\times 3$ 的卷基层比一个大尺寸卷积层有更多的非线性(更多层的非线性函数),使得判决函数更加具有判决性,并且起到隐式正则化的作用。
  • $1\times 1$ 卷积核除了具有降低参数量和增加非线性的作用外,还可以起到对通道数的升降进行控制的作用 (达到特征降维和升维的作用)。
目录
相关文章
|
17天前
|
机器学习/深度学习 TensorFlow 算法框架/工具
PYTHON TENSORFLOW 2二维卷积神经网络CNN对图像物体识别混淆矩阵评估|数据分享
PYTHON TENSORFLOW 2二维卷积神经网络CNN对图像物体识别混淆矩阵评估|数据分享
|
17天前
|
机器学习/深度学习 存储 监控
数据分享|Python卷积神经网络CNN身份识别图像处理在疫情防控下口罩识别、人脸识别
数据分享|Python卷积神经网络CNN身份识别图像处理在疫情防控下口罩识别、人脸识别
|
17天前
|
机器学习/深度学习 算法 数据挖掘
深度学习500问——Chapter05: 卷积神经网络(CNN)(4)
深度学习500问——Chapter05: 卷积神经网络(CNN)(4)
27 1
|
17天前
|
机器学习/深度学习 自然语言处理 计算机视觉
深度学习500问——Chapter05: 卷积神经网络(CNN)(3)
深度学习500问——Chapter05: 卷积神经网络(CNN)(3)
23 1
|
17天前
|
机器学习/深度学习 存储 算法
卷积神经网络(CNN)的数学原理解析
卷积神经网络(CNN)的数学原理解析
48 1
卷积神经网络(CNN)的数学原理解析
|
17天前
|
机器学习/深度学习 自然语言处理 计算机视觉
深度学习500问——Chapter05: 卷积神经网络(CNN)(2)
深度学习500问——Chapter05: 卷积神经网络(CNN)(2)
27 2
|
17天前
|
机器学习/深度学习 算法 PyTorch
卷积神经网络(CNN)——基础知识整理
卷积神经网络(CNN)——基础知识整理
41 2
|
17天前
|
机器学习/深度学习 存储 自然语言处理
深度学习500问——Chapter05: 卷积神经网络(CNN)(1)
深度学习500问——Chapter05: 卷积神经网络(CNN)(1)
31 1
|
17天前
|
机器学习/深度学习 PyTorch 算法框架/工具
使用Python实现卷积神经网络(CNN)
使用Python实现卷积神经网络(CNN)的博客教程
41 1
|
17天前
|
机器学习/深度学习 人工智能 算法
【AI 初识】什么是卷积神经网络 (CNN)?
【5月更文挑战第2天】【AI 初识】什么是卷积神经网络 (CNN)?

热门文章

最新文章

相关实验场景

更多