卷积神经网络

为什么引入卷积网络？主要是对于图片来说，全连接神经网络的几个弊端如下：

一、三个特点

稀疏交互/局部连接：

在全连接神经网络，一层的每个神经元和前一层的所有神经元都有连接；而在卷积神经神经网络中，输出单元和前一层的部分神经元（卷积核大小）有连接；这样导致的结果是参数由M(L)*M(L-1)减少为M(L) *K * K. 其中K为卷积核大小/滤波器大小。

参数共享：

对于上面的每一个神经元都有前一层的K *K个神经元相连接，而他们用的参数是一样的，所以参数进一步减少为K * K。 但是这里的弊端就是只能提取一种特征，所以需要多个卷积核提取不同的特征。

平移不变性：

二、卷积和互相关

两者的关系可以用下面的图来表示，目前一般在网络设计中都是用的互相关，也默认称为卷积。

三、卷积操作

目的：为了提取图片的特征。

卷积核在图片上从左到右、从上到下的移动，不断的滑动进行对应位置相乘在相加即可。可以看到下面是真正的卷积（即翻转了卷积核），一般实验中不会这样，但是考试的时候看题意吧–友情提醒。

对于卷积后的大小的计算公式：

F为卷积核的大小，如3*3卷积的F=3，P为padding，S为步长，一般S=1，其中有的时候为了保持卷积后大小不变，则可以通过设置P即可。

四、反向传播

这个过程其实和全连接神经网络的类似，只是注意的是池化层不需要训练参数，所以反向传播直接过去，而卷积层因为其特殊的计算，所有对于上一层的神经元可能受到下一层的多个神经元的影响，即在公式中可能会有多个分支。详情可能后面会补。。。。。。

五、池化

主要作用是降维，因为他不会改变通道数，但是一般会降低图片的长和宽。

六、增加输出单元的感受野

这里引出了空洞卷积，其中感受野指的是当前层的特征在最开始的输入图片上占的比例额，越大则说明感受野越大，其保存的信息越多，提取的特征越多。

七、卷积网络发展历程

这里就简单介绍了一下。想了解的同学可以针对的看一下论文。

1）LeNet网络

2）AlexNet

3）VGG/GoogLeNet

4)ResNet