一、梯度下降法的局限
局部最小值saddle point和鞍点local minima
优化（Optimization）损失函数失败的原因主要有2种：
1.局部最小值 (local minima)，无路可走。
2.鞍点 (saddle point)，还可以继续梯度下降。
最好先知道损失函数的形状，才能更好的解决上面的问题。
二、分批（Batch） 和动力（Momentum）
2.1 Batch
分批处理(Batch)，也称为批处理脚本，是对某对象进行批量的处理，可以减少运算时间。
分批处理可以减少运行时间，快速达到目标。
每次分批训练有时优于一整批次训练，因为它可以快速找到目标。
三、分类
分类问题是得到一个一个的值，跟回归问题不一样。
通常会把数据进行归一化处理后再分类。
四、分批标准化
分批次训练模型时，若某批次数据很小，乘以一个大底系数，变化量也是很小的，若某批次数据很大，即使乘以一个非常小的参数，数据变化也是很大的，那么在一起训练时不好处理，所以先将数据标准化，那么数据就没有什么差异。
