一、偏差和方差
- 偏差和方差
对于下面图中的数据，我们希望寻找一个函数来拟合这些数据，也就是回归任务：
回归
我们尝试使用一次、二次直至五次的函数集来拟合一个简单的回归问题，在实验过程中发现对于低阶的函数效果不是太好，增加函数的复杂度后效果有了好转，但当函数过于复杂时，效果又会变差：
效果
事实上模型的损失主要来自两个方面：偏差（bias）和方差（variance）。以打靶作比喻，假设我们要求解的那个函数处于靶心位置，而我们采用的模型代表的函数集如果偏离靶心太远，就相当于有大的偏差，而如果这个使用这个函数集多次实验求解的函数不稳定，就相当于有大的方差：
偏差和方差
- 方差
下图展示了分别使用一次、三次、五次函数来拟合数据100次的实验结果：
多次实验
可以明显看出低阶函数显然更加地集中，也就是说具有较小的方差，而高阶函数不够稳定，具有较大的方差：
方差
- 偏差
我们永远也不可能知道数据所服从的真正的函数
，因此这里我们假设真实的分布如下图这样，然后再来感受偏差的概念：
真实函数
下图分别展示了从低阶到高阶的函数集多次实验后的平均效果，其中黑色曲线代表我们假设的真实分布，蓝色曲线代表多次实验平均的分布：
偏差
可以看到虽然高阶函数的方差比较大，但是平均以后更加地接近真实分布，可以直观理解为高阶函数集较于低阶函数集包括更多的可选函数，因此更容易接近真实函数，下图中靶子上面蓝色的圆圈表示函数集覆盖的范围：
偏差
- 总结
总结来说对于低阶函数来说，损失主要来自偏差，而高阶函数的损失主要来自偏差。低阶函数的拟合能力有限，因此带来的问题称为欠拟合（underfitting），而高阶函数由于过于地powerful，从而容易带来过拟合（overfitting）的问题：
偏差vs方差
应对大的偏差的方法：
①增加更多特征作为输入
②使用更复杂的模型
应对大的方差的方法：
①更多数据
②正则化
二、梯度下降
- Adagrad
二次微分大的点梯度虽然大但是可能会比梯度小的点离极值点更近，因此学习率需要考虑二次微分的影响，除以所有梯度的均方根是为了近似表示二次微分。
Adagrad
- RMSProp
类比Adagrad的一种优化方法，与Adagrad不同的是学习率所除的分母。Adagrad学习率所除的分母会无限累加，导致后期参数更新幅度很小，RMSProp避免了这个问题。然而RMSProp无法解决卡在鞍点的问题。
RMSProp
- SGD(随机梯度下降）
- SGDM
为梯度下降加入一个冲量，每次迭代移动的方向为梯度的反方向向量加上上次移动的方向向量，向量前面可能会有系数。
SGDM
- Adam
结合RMSProp和SGDM两种算法优点的一种优化算法。m和v需要除上1-β是为了前期的纠偏。分母加上一个ε是为了防止分母下溢到0导致学习率是未定义的。
Adam
- Adam vs SGDM
Adam:训练速度快但是泛化误差大、不稳定。
SGDM：稳定、泛化误差小、更好的收敛性。
训练函数和测试函数
- 改善Adam
(1). AMSGrad
AMSGrad
(2). AdaBound
AdaBound
- 改善SGD
(1). Cyclical LR
Cyclical LR
(2). SGDR
SGDR
(3). One-cycle LR
One-cycle LR
- 特征缩放
特征缩放
- 泰勒级数解释梯度下降
将loss函数在当前θ处进行泰勒展开，当参数位于当前θ处附近时，泰勒级数的二阶及以上的项可以忽略不计，由此可以解释当将参数沿梯度反方向调整的时候可以使得loss减小。注意一定保证学习率足够小，否则泰勒展开的高阶项是不可以忽略的。
