具体实现过程：

定义特征和标签

我们看一下具体的实现过程，用神经网络实现鸢尾花的分类，输入数据是1行4列的数据，通过一个神经网络，输出是每一个种类的可能性大小，这个神经网络里的每一个具有计算功能的粉色小球，就是一个神经元

介绍MP模型

1943年，英国 物理学家麦卡洛克 和 数学家皮茨 这两个人就给出了神经元的计算模型，称之为MP模型，MP模型是每一个输入特征乘以线上的权重，求和，再通过一个非线性函数输出。

为了求解简单我们暂时去掉非线性函数，把MP模型简化为这个样子，就是所有的输入x乘以各自线上的权重w，求和，加上偏置项b，输入y。

可以写成这样一个式子，y = x*w+b

输出y是一行三列的                                x是输入特征  一行四列的  

w是权重 是四行三列的                           b是3个偏置项（可以自定义参数的）

针对我们鸢尾花的例子，x是输入特征，w是权重，b是三个偏置项，y就是三种鸢尾花各自的可能性大小。

用神经网络实现鸢尾花分类：搭建网络

输入是四个特征，所以这里是四个输入节点，输出是三种鸢尾花各自可能性大小，所以这里是三个输出节点

中间连线有4行3列，一共12个线上的权重w，每个神经元还有一个偏置项b，于是我们就搭建出了这样一个神经网络结构

左右都有连接关系我们称之为全连接网络

有了网络结构，线上的权重w和偏置b会被随机初始化为一些随机数，

用神经网络实现鸢尾花分类：喂入数据

喂入一组数据  5.8 4.0 1.2 0.2和他们对应的标签    标签: 0狗尾草鸢尾  

用神经网络实现鸢尾花分类：前向传播

神经网络执行前向传播，x*w+b代入数据，计算出y，这个过程就叫做前向传播

用神经网络实现鸢尾花分类：损失函数

我们通过输出y可以看出，数据最大的也就是可能性最高的是1 ， 而不是标签0 （喂入数据特征对应的是标签0）

这是因为最初的参数W和B都是随机产生的，现在输出的结果就是蒙的，

我们用损失函数定义预测值 y 和标准答案也就是标签 y' 的差距，损失函数可以定量的判断当前这组参数W和B的优劣，

从而让我们得到最优的W和B的值，因为损失函数表达的是预测值与标准答案之间的差距，

当损失函数最小值，参数W和B就会出现最优值。

损失函数的定义有很多种方法，均方误差就是一种常用的损失函数，它计算每个前向传播输出y和标准答案 y' 的差，求平方，在求和，再除以n取平均值。

表征了网络前向传播推理（结果）和标准答案之间的差距

用神经网络实现鸢尾花分类：梯度下降

我们的目的是要寻找一组参数W和B使得损失函数最小

损失函数的梯度：表示损失函数对各参数求偏导后的向量，损失函数梯度下降方向是函数减小方向

梯度下降就是沿着损失函数梯度下降的方向，寻找损失函数的最小值，得到最优参数的方法

学习率（learning rate，lr）：当学习率设置的过小时，收敛过程将变得十  分缓慢。而当学习率设置的过大时，梯度可能会在最小值附近来回震荡，  甚至可能无法收敛。

这个公式给出了梯度下降法更新参数的计算，其中 lr 是学习率，是梯度下降的速度，是一个超参数，如果学习率设置过小，参数更新会很慢，如果学习率设置过大，参数更新会跳过最小值，这个公式很重要  需要记住

用神经网络实现鸢尾花分类：反向传播

反向传播：从后向前，逐层求损失函数对每层神经元参数  的偏导数，迭代更新所有参数。

我们用这个公式体会一下反向传播参数更新的过程，假设损失函数是 W+1 的平方，损失函数对参数w的偏导是 2W+2 ， 参数w在初始化的时候被随机初始化为 5 ， 学习率是个超参数  我们设置为 0.2 ；

我们画出损失函数 W+1 的平方图像，优化参数W就是要找到某个w，使损失函数的梯度减少，从图上我们可以直观的看到，损失函数最小点应该在这个位置，也就是-1 ， 损失函数loss的值最小，

我们优化参数的目的就是为了找到损失函数loss值最小