最优化学习 牛顿法(Newton’s method)

简介: 最优化学习 牛顿法(Newton’s method)

牛顿法(Newton’s method)


最速下降法使对一次微分,牛顿法主要是对二次可微的函数进行判断


image.png

20210530164141710.jpg

收敛性分析image.png


若     image.pngdamped Newton phase

若    image.pngquadratically convergent phase

20210530164235879.jpg


image.png


图示和例子


对于一般函数,会在某个邻域会使收敛速度加快

对于凸二次目标函数,几乎可以一步收敛



2021053016424083.jpg

优点和缺陷


20210530164247941.jpg

相关文章
|
机器学习/深度学习 算法 数据挖掘
最优化--梯度下降法--牛顿法(详解)
最优化--梯度下降法--牛顿法(详解)
1656 1
|
机器学习/深度学习 算法
Lecture 6:值函数近似
Lecture 6:值函数近似
最优化学习 拟牛顿法(Quasi-Newton Method)
最优化学习 拟牛顿法(Quasi-Newton Method)
最优化学习 拟牛顿法(Quasi-Newton Method)
|
机器学习/深度学习 算法 Python
机器学习实战 决策树代码 计算香农熵 Error return arrays must be of ArrayType
机器学习实战 决策树代码 计算香农熵 Error return arrays must be of ArrayType
153 0
Newton-Raphson method牛顿法公式推导
牛顿法的用处,①求解方程的根,用一阶泰勒展开;②用于凸优化,用二阶泰勒展开。
3396 0
|
算法 数据可视化
smooth的作用,Adam算法引入了二阶动量的概念
在loss function中的主要目的是把loss function变成continuous differerntiable function(连续可微分函数),从而在optimization(优化)
235 0
|
机器学习/深度学习 分布式计算 算法
⚡机器学习⚡交替方向乘数法(Alternating Direction Method of Multipliers,ADMM)
⚡机器学习⚡交替方向乘数法(Alternating Direction Method of Multipliers,ADMM)
⚡机器学习⚡交替方向乘数法(Alternating Direction Method of Multipliers,ADMM)
|
算法 搜索推荐
模拟退火(SA)算法求解Max-Minsum Dispersion Problem(附代码及详细注释)
模拟退火(SA)算法求解Max-Minsum Dispersion Problem(附代码及详细注释)
258 0
模拟退火(SA)算法求解Max-Minsum Dispersion Problem(附代码及详细注释)
|
算法 Python
Greedy Randomized Adaptive Search 算法超详细解析,附代码实现TSP问题求解(二)
Greedy Randomized Adaptive Search 算法超详细解析,附代码实现TSP问题求解
201 0
Greedy Randomized Adaptive Search 算法超详细解析,附代码实现TSP问题求解(二)
|
算法 决策智能
Greedy Randomized Adaptive Search 算法超详细解析,附代码实现TSP问题求解(一)
Greedy Randomized Adaptive Search 算法超详细解析,附代码实现TSP问题求解
344 0
Greedy Randomized Adaptive Search 算法超详细解析,附代码实现TSP问题求解(一)

热门文章

最新文章