七、神经网络

1. 非线性假设

在前面讨论逻辑回归问题时，我们提到了分类问题，而且可以通过对特征进行多项式展开，让逻辑回归支持非线性的分类问题，但是当特征量非常非常大时，这对计算机性能是一个很大的考验。

举个例子，我们想要区分一幅图像是否是汽车图像，假定图像分辨率为50×50，且每个像素的灰度都为一个特征，那么一副图像的特征维度就高达2500维，进行二次多项式扩展后，特征维度更是达到了约三百多万。

因此，就需要考虑用新的机器学习模型来处理高维特征的非线性分类问题，神经网络是典型的不需要增加特征数目就能完成非线性分类问题的模型。

2. 神经网络

背景

神经网络起源于人们想要模拟人类大脑的想法，但是在80s到90s这段时间，神经网络慢慢淡出人们的视野，在早些年神经网络才重新回归到人们的视野。这是因为随着如今计算机越来越发达，可以支持神经网络这种计算量特别大的算法了。

神经网络就是模仿了大脑的神经元或神经网络，就像下面的图中一样，从树突输入信息，然后处理后从轴突输出信息。

下面我们将用一个简单的模型来模仿神经元工作，我们将神经元模仿成逻辑单元。

我们可以输入x1,x2,x3就像从树突输入一样，然后经过计算处理，从类似于轴突一样输出信息，最后计算出h(θ)，这种神经元有时候被称为带有simoid(logistic)激活函数的人工神经元。

而神经网络就是由这些神经元来组成的，如下：

第一层被称为输入层，最后一层被称为输出层，而其他的层就被称为隐藏层，而隐藏层一般都有很多层。

接下来，我将为你介绍一些常用的表达，就用上面这个简单的神经网络为例：

ai(j)表示第j层的第i个元素。

θ(j)表示第j层到第j+1层的每个相连的权值，就如上面公式中θ10(1)等，通俗讲就是图中的每一条线就有一个权值。

上面a1(2),a2(2),a3(2)就是代表隐藏层神经元的表达式，hθ(x)就是输出层神经元的表达式，而g(z)函数用的是sigmod函数。

如果神经元第j层有sj个神经元，而第j+1层有sj+1个神经元的话，则θ(j)的维数将是sj+1×(sj+1)。

而上面a中的θx我们就可以用z来表示，如下：

接下来，我将讲一些例子，让你能够更好的理解神经网络，在此之前我先介绍一下XOR与XNOR。

x1 XOR x2作用是当x1与x2当中只要有一个为1，那么y就为1，反之都为0。

x1 XNOR x2与NOT(x1 XOR x2)意思相同，都是上面那个的对立面即当x1和x2都为1或0时，y为1，反之，y为0。

AND函数

我们通过在输出层额外加一个偏置单元，通过sigmod函数得到AND的功能。

OR函数

与上面AND函数实现相似，都是利用sigmod函数，只是将假设函数内部进行改变。

NOT函数

同样利用sigmod函数。

x1 XNOR x2

这个实现实际上就是将前面提到的三个函数进行了一个整合，结合到一个神经元中。

3. 多元分类

这里我将介绍一个多元分类的例子，输出层有多项。

这里我们就要通过输入训练集，然后得到不同的y值，如下所示：

4. 代价函数

我先介绍一下这节课要用到的表达方式，如下：

L表示的是第几层神经网络。

sl表示第l层有多少个神经元。

K表示输出层的类别数量。

除此之外，我们来谈谈关于神经网络的分类问题，它可以分为二元分类及多元分类两种问题。

二元分类（Binary classification）：这种问题输出层只有一个神经元，即直接输出h(θ)的值。

多元分类（Multi-class classification）：这个问题只有当分的类别大于等于3即k≥3时才会用到一对多的方法。

下面就是神经网络的代价函数：

5. 反向传播算法

接下来要讲的算法是可以用来优化整个神经网络，同时其中所计算的δ也是用来计算上面代价函数中的导数项，首先先来认识一下表达方式：

δj(l)表示第l层的第j个神经元。

反向传播算法就是从最后一层即输出层进行计算，然后依次往前计算，实际上就是将后面层的误差往前面进行传播，而上面这张图中的例子只是拿一个训练样本举例，当训练样本变得特别多时，我们就要像下面一样这么做：

上面的△就是δ，这其中其实就是进行了循环计算，最后得到Dij(l)用于导数的计算。

为了更好理解反向传播算法，我们先来回顾一下前馈传播算法。

就拿其中一个神经元为例，它就是前面那层的所有神经元加权之后的和。

接下来，再来看看反向传播算法的代价函数，下面给出的是只有一个神经元输出的情况，多个神经元输出的话，前面会考虑到K值。

当我们只考虑一个样例时，就可以令λ等于0，这样就不用考虑正则化了，所以可以删去一些式子。

为了更方便理解，我们可以将这个代价函数看成是方差函数，用于判断实际值与真实值偏差有多大，从而判断准确度是否精确，实际中我们的代价函数一般是包含对数等复杂函数。

再更深入的进行理解一下，反向传播算法所算的δj(l)实际上就是第l层第j个神经元的误差，正规点说可以将它当成对zj(l)求偏导数。

我们也可以在前向传播算法图中去理解反向传播算法，这其实就是前向传播的你过程，就如下图中δ2(2)与δ2(3)的公式，实际上就是将后一层的δ乘以一个权重在求和，而在此偏置单元不算近δ中，当然你也可以另外设置算法将它包含进来。

6. 梯度验证

在进行梯度计算时，尤其是在反向传播中进行梯度计算时，可能会会遇到一些bug，所以我们可以采用一些方法来确保我们的反向传播包括前向传播得出的结果是对的。

首先我们先来看看梯度数值估计的一个例子，如下：

我们可以去一个非常小的距离来计算曲线上一点的斜率，就能得到θ的偏导数，而其中ε一般去10-4，而图上的左边式子是双侧差分，右边的是单侧差分，而双侧差分的结果更准确，所以我们一般都用双侧差分。

现在，我们再来考虑一下当θ为向量的时候，可以得到下面这一系列的式子。

所以这上面算出来的导数值就可以拿去跟反向传播计算出的导数值进行对比，如果数值相等或者十分接近，就说明反向传播算出的导数值是正确的，就可以将反向传播计算得导数值用在别处。

重点：当你已经用梯度检测方法确认了反向传播得出的导数值是正确时，就不要再用梯度检测了，因为相对于非常高效的反向传播算法，梯度检测的计算量非常大，会使你的程序变得非常的慢。

7. 随机初始化

我们先来考虑一个情况，如果我们将所有θ都初始化为零，那么就会出现无论怎样训练神经网络，得到的结果都会是一样，就如下面所示，所算出来的a或者δ再或者偏导都会相同。

而上面这种情况就被称为对称权重问题，而解决这个问题的方法就是随机初始化θ。

我们通常会将θ初始化在一个接近于0的范围即[-ε,ε]，但这里的ε跟我们上面遇到的ε并不是同一个东西，需要注意。

8. 小结

现在我们先对上面的知识进行一次小结，首先先来回顾一下神经网络框架。

输入层的神经元个数，代表着特征的维度；输出层的神经元个数，代表着类别的数量。

而一般情况下，默认只有一层隐藏层，如果隐藏层大于1，每一层隐藏层的数量默认相同，并且一般隐藏层越多越好。

接下来，再来回顾一下神经网络训练的步骤：

1.随机初始化权重值θ。

2.执行向前传播算法得到所有的hθ(x(i))。

3.执行代码去计算代价函数J(θ)。

4.执行反向传播算法求得偏导数的值，这里第一次计算一般用循环去遍历每一个样本。

5.通过梯度检测确保反向传播得到的偏导数与数值算出的偏导数相近，然后停止使用梯度检测。

6.最后，利用梯度下降或者其他高级优化算法和反向传播算出的偏导数一起去找到关于θ的J(θ)的最小值。

另外，神经网络的J(θ)是非凸函数，理论上梯度下降的算法可以找到一个最优解，即使不是全局最优解。

最后，再来看看这张图，我们通过梯度下降来寻找最优解，如果J(θ)处于最低点，我们可以得到hθ(x(i))是十分接近于y(i)的，如果J(θ)处于最高点，那么hθ(x(i))远离y(i)的。