1、神经网络的起源-Neural Networks

神经网络起源于人们想要模仿大脑的功能。在80和90年代，神经网络收到广泛的应用，但是在90年代末，神经网络的流行度逐渐消失。但最近由于计算机运行速度的加快，能够运行大规模的神经网络，同时因为人工智能的兴起，神经网络算法重新获得人们的追捧。

人脑实际上也是一个拥有学习能力的“机器”，同时它开放了许多“接口”可以使用。若将视觉神经连载“听觉锥”部位，则听觉锥部位也能学着“看”东西。而神经网络正是向模仿人脑的学习机制，试图用一种算法来处理多种问题。

2、神经网络模型的描述

简单的神经网络模型包括输入层(Input Layer)，输出层(Output Layer)和中间层 (隐藏层-Hidden Layer)。

中间层由“激励”(activation)神经元组成，如  ai(j)表示第j层的第i个激励神经元。权重符号说明：  Θ12(2)表示前一层(第1层)的第二个神经元传递到后一层(第2层)的第一个神经元的权重。在上一层向下一层传递的时候，通常在上一层添加偏置(bias units)，所以第j层的权重的维度可以通过上一层神经元的个数 sj和下一城神经元的个数 sj+1来计算：

Θ(j)=sj+1∗(sj+1)

上图所示的简单神经网络的权重计算方法如下所示：

定义新的变量  zk(j)表示第j层的第k行参数，则可将变量  zk(j)表示为：

将x也向量化表示：

则中间层激活神经元可以表示为：

为了统一起见，将输入层x作为 a ( 1 ) a^{(1)} a(1)，则变量 z k ( j ) z_k^{(j)} zk(j)可以如下表示:

第j层激活神经元的计算可以表示为以下：

最终输出层即为  a(j+1)：

下图展示了上述简单神经网络的计算过程：

3、神经网络的应用

3.1 逻辑与门(AND)

使用神经网络表示逻辑“与门”的方法如下所示：令变量  x1和变量 x2为二元变量{0,1}，神经网络的表示方法如下所示：

计算结果如下所示，可以看出，通过赋予合适的权重，可以得到 x1 AND x2同样的效果。

3.2 逻辑或门(OR)

  逻辑或门的神经网络设计可以如下所示：

3.4 逻辑异或门(NOR)

逻辑异或门的神经网络设计可以如下所示：

3.5 多元分类(Multi-class Classification)

   判别四种物体分类的神经网络设计如下所示：