N.1 思维导图总结
1)原始图片
2)重点记忆红色区域图片
3)下面是本人画的流程图 |
N.2 模型调优算法(学习算法)
N.2.1 梯度下降算法
1)梯度下降算法介绍 (1)梯度下降(gradient descent)是一种常用的一阶优化方法,是求解无约束优化问题最简单、最经典的方法之一 (2)梯度方向:函数变化增长最快的方向(变量沿此方向变化时函数增长最快) (3)负梯度方向:函数变化减少最快的方向(变量沿此方向变化时函数减少最快) (4)损失函数是系数的函数,那么如果系数沿着损失函数的负梯度方向变化,此时损失函数减少最快,能够以最快速度下降到极小值 2)沿着负梯度方向迭代,迭代后的θ使损失函数J(θ)更小: |
————————————————————————
————————————————————————
————————————————————————
(2)从上面的解释可以看出,梯度下降不一定能够找到全局的最优解,有可能是一个局部最优解 (3)如果损失函数是凸函数,梯度下降法得到的解就一定是全局最优解 |
N.2.2 牛顿法和拟牛顿法
1)比较复杂,了解下 |
————————————————————————
————————————————————————