0.简述
人工神经网络，Artificial Neural Networks。它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
一个神经网络可以表示为一个人工神经元的图，或者说节点和有向边，用来对突触建模。每个神经元是一个处理单元，它将
连接到它的节点的输出作为
输入。
1.前馈与反向传播
1.1 前馈网络
Feedforward Neural Network，简称前馈网络，是人工神经网络的一种。在此种神经网络中，各神经元从输入层开始，接收前一级输入，并输出到下一级，直至输出层。整个网络中无反馈，可用一个有向无环图表示。
2.损失函数
loss function，损失函数。
在统计学中，损失函数用来衡量实际值与预测值之间的偏差程度。
最简单的理解就是，给定一个实例，训练的模型对它的预测结果错了，就要受到惩罚，于是就用损失函数来衡量错误的程度。
损失函数一般记为L(Y,f(X))，输入是X，输出是f(X)，真实值是Y。
3.激活函数
在发出输出之前，每个神经元会先应用一个非线性激活函数。正是由于这个激活函数，神经网络具有对非线性关系进行建模的能力。
