1 ANN定义

神经网络是由多个简单的处理单元彼此按照某种方式互相连接而形成的计算机系统，该系统通过对外部输入信息的动态响应来处理信息。

2 神经网络介绍

神经网络通过大量人工神经元连接成特定的结构对外界的信息进行处理，主要通过调整神经元之间的权值来对输入的数据进行建模，最终具备解决实际需求的能力。

人工神经网络主要的两大功能是模式识别和数据拟合。神经网络良好的非线性性能能够很好的刻画各种非线性曲面从来带来良好的模式识别能力，而其出色的优化计算过程可以不错的解决各种函数拟合问题。

3 神经元模型

神经网络中最基本的成分是神经元(neuron)模型，目前广泛使用的神经元模型是1943年心理学家McCulloch和数学家W.Pitts首先提出的M-P神经元模型。如图，每个神经元都是一个多输入单输出的信息处理单元，输入信号通过带权重的连接传递，和阈值对比后得到总输入值，再通过激活函数(activation function)的处理产生单个输出。

4 神经元模型数学表达式

用数学表达式对神经元模型进行抽象和概括：我们令 ，即：x0 = −1,ω0j = θj ，
−θj = x0ω0j
，也就是说我们将阈值认为是一个下标为0的输入神经元处理，得到如下神
经元模型（ 个输入）的输出公式：

其中：

5 向量表示

为方便起见，可以将模型表示为权重向量 和输入向量 的点积，即：

             oj = f(netj) = f(X TWj)

6 激活函数-阈值函数

神经元的输出，是对激活函数套用输入加权和的结果。
神经元的激活函数f(x)使得神经元具有不同的信息处理特性，反映了神经元输出与其激活
状态之间的关系。 这里我们涉及到的激活函数有：阈值函数(也称为阶跃函数)

阈值函数是神经元模型中常用简单的一种，但是由于阈值函数具有不连续，不光滑等不
太好的性质，因此实际应用中常用sigmoid函数作为激活函数

7 人工神经网络模型

神经元模型按照一定的层次结构连接起来，就得到了神经网络。神经网络是对生物神经
网络的抽象简化，可以按照不同的方法分类：按照网络结构不同，即信息传递方向不
同，可以分为前馈型网络和反馈型网络。

8 学习方式

根据学习方式的不同，可以将神经网络分为有监督学习和无监督学习：

· 有监督学习为神经网络的输出结果提供一个期望结果，也就是说每个输出信号都对应
一个监督信号，通过比较两个结果的误差循环对权值进行调整，直到误差达到期望的
精度为止，使得输出值无限逼近期望值。

· 无监督学习通过不断的提供输入信息，发现信息流中存在的任何可能的模式或者规
律。这个网络的自组织过程最终会使得网络能够对属于同一类的模式进行自动分类。

有监督学习规则