AI遮天传 DL-CNN

2023-01-09 252

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： AI遮天传 DL-CNN

一、简介

1.1 大脑皮层中的局部检测器和平移不变性

神经科学家 Hubel 和 Wiesel 于1962在猫的视觉皮层上面发现：

有一种简单细胞用于检测图像物体的局部特征；

另外一种复杂细胞将视网膜上向邻近的简单视网膜的输出“池化”。

按照他们的发现，构造出如下概念模型：

由此提出人工视觉系统的构建方式：

组合多个简单细胞/复杂细胞层

高层用来计算更全局、不变性更强的特征

在顶层添加分类器

从而人们建立了多个模型：

Neocognitron模型 [Fukushima 1971-1982]

卷积网络 [LeCun 1988]

HMAX模型 [Poggio 2002-2006]

fragment hierarchy模型 [Ullman 2002-2006]

HMAX模型 [Lowe 2006]

我们先简单介绍下Neocognitron模型从而了解一下卷积网络模型，后面的模型由于使用较少，本次不进行介绍。

1.2 Neocognitron模型

其中U0为输入层

之后Us1为简单细胞层，用来检测物体的一些局部信息，

之后Uc1复杂细胞层对局部信息进行一些融合(池化pool)，

再之后Us2-->Uc2-->Us3-->Uc3...

我们所学的CNN结构上与这个模型基本上是一样的，主要的区别是：该模型提出时，还没有后向传播算法(BP)或BP还没有被重视。

1.3 卷积神经网络(Convolutional neural network, CNN)

如图：

其中32*32的矩阵(如图片A)是输入层，
之后C1卷积层对应简单细胞层

输出其中是窗口大小，f 是 sigmoid 函数，w和b是卷积层参数。

之后S2层下采样(池化)对应复杂细胞层

输出 (如今我们在池化层很少用激活函数了)

再之后C3-->S4->C5-->S6...->MLP

注：C1对Input进行卷积，输入就是一个二维矩阵；C3对S2进行卷积，此时输入一个张量(tensor).

卷积层有两个主要的特点：

局部连接：它不像MLP全连接，如上图C1层某一处神经元只与前一层的一部分(5x5)连接。
权值共享：C1层28x28的图上每一点都是一个神经元，每个神经元都与前面的25个值相连，其25个值对应的权值/参数都是相同的。

1.4 CNN与MLP的区别

经过上面我们就可以看到，CNN相比于MLP多出了两种层：卷积层和池化层。

卷积池化处理完毕之后衔接全连接层。

卷积：对于一个输入，我们给它一个卷积核(如上上图5x5个元素还有那25个参数w)在输入图片上进行滑动，求一个响应结果，得到一个相应图片或叫特征图片。图片上的亮度表示每个相应值得大小。

池化：把前一层得输入变小，如把4x4中四个角对应的2x2进行一下取最大(或平均或随机)，这样4x4就变成了2x2。

接下来我们详细介绍一下卷积层和池化层及其前向计算，目的是让大家了解其工作原理。

至于后向计算感兴趣朋友的可以自行了解。当然也有很多优秀的工具库我们可以直接拿来用以求解梯度。

二、卷积层

2.1 动机：

对于一维

假设有A和B两个一维序列，其中B的长度小于A，计算B与A的每个部分之间的相似度(similarity)

自然地，将B在A上滑动并逐个计算相似度，简便起见，称为关联计算(correlation calculation)

𝑥 和 𝑦 两个向量间的余弦相似度(Cosine Similarity):

对于二维

同理假设A和B是两个二维序列，其中B的长宽小于A：

𝑥 和 𝑦 两个矩阵间的余弦相似度(Cosine Similarity):

注：得到的响应二维矩阵会比输入小一点，因此其3x3每次向右移动一小格取一次输出，且B始终在A里面，不出头。

但这个滑动的过程非常缓慢，为解决此问题，我们：

引入卷积和FFT(卷积和傅里叶变换)

使用并行计算(显卡)

当然引入卷积并不一定要非用FFT，当前使用并行计算更加流行也更快一些。

2.2 一维卷积

连续卷积：

离散卷积 (对于有限长的序列):

这与我们上面介绍的滑动相似度基本是一样的，不过本次是“交叉计算”。

三种卷积形式

𝑓的长度: 𝑀, 𝑔的长度: 𝑁, 其中 𝑀 ≥ 𝑁

Valid卷积

Full卷积

Same卷积

将full卷积的结果截断至 𝑀 维

Same卷积也可以从 𝑔 与用零填充(zero-padded)的 𝑓 之间的Valid卷积得到

例如：

假设有两个序列：

f=[0,1,2,-1,3] g=[1,1,0]

则：

python代码：

import numpy as np
from scipy import signal
f = np.array([0, 1, 2, -1, 3])
g = np.array([1, 1, 0])
h1 = signal.convolve(f, g, mode='valid')
h2 = signal.convolve(f, g, mode='full')
h3 = signal.convolve(f, g, mode='same')

相似度和卷积之间的关系

计算 𝑔 与 𝑓 的每个部分之间的相似度等价于计算 𝑓 ∗ , 其中

也就是我们所谓的交叉计算

上述翻转操作可以通过两次 numpy.rot90() 命令来实现 (之后用rot180()表示)

2.3 二维卷积

假设有矩阵 𝑓 和 𝑔 , 大小分别 𝑀 × 𝑁 和 𝐾1 × 𝐾2, 其中 𝑀 ≥ 𝐾1, 𝑁 ≥ 𝐾2

两个矩阵间的离散卷积

valid：h的大小是 (M-K1+1)*(N-K2+1)
full：h的大小是 (M+K1-1)*(N+K2-1)
same：h的大小是 M*N

python例子：

import numpy
from scipy import signal
A = numpy.array([[0, 0, 1, 2], [2, 2, 0, 0], [2, 1, 2, 2], [3, 0, 1, 1]])
B = numpy.array([[0, 0, -1], [1, -1, 1], [-1, 1, 1]])
C = signal.convolve2d(A, B, mode='full')
print(C)
C = signal.convolve2d(A, B, mode='valid')
print(C)
C = signal.convolve2d(A, B, mode='same')
print(C)