AI 助理
备案控制台
开发者社区 人工智能 文章 正文

最优化学习 拟牛顿法（Quasi-Newton Method）

2022-11-15 268
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 最优化学习 拟牛顿法（Quasi-Newton Method）

拟牛顿法（Quasi-Newton Method）


image.png

20210530192636936.jpg

得到矩阵Bk+1


image.png



这样我们就可以得到image.png

2021053019264230.jpg

获取Bk+1和Hk+1


第一类方法：选择满足拟牛顿方程且与B k B近似的矩阵

第二类方法：对B k 或H k 进行校正，如B k + 1 = B k + Δ B

rank-2 校正 Δ B 秩为2 DFP方法,BFGS方法

rank-1 校正 Δ B 秩为1 SR-1方法


20210530192645912.jpg


DFP方法(Davidon-Fletche Powell)


可以看作是rank-2校正


image.png

20210530192657335.jpg


BFGS方法(Broyden-Fletcher-Goldfarb-Shannon)


可以看作是rank-2校正

image.png


20210530192701849.jpg


Broyden类算法和Sherman-Morrison公式


Sherman-Morrison公式


假设A是n阶可逆矩阵,u ,v是n 维向量，且( A + u v T ) 也是可逆矩阵，则

image.png


20210530192706930.jpg

SR-1方法


image.png

20210530192711754.jpg

文章标签：
算法
皮卡丘敲级可爱
目录
相关文章
算法金
|
4月前
|
机器学习/深度学习 数据采集 监控
算法金 | DL 骚操作扫盲，神经网络设计与选择、参数初始化与优化、学习率调整与正则化、Loss Function、Bad Gradient
**神经网络与AI学习概览** - 探讨神经网络设计，包括MLP、RNN、CNN，激活函数如ReLU，以及隐藏层设计，强调网络结构与任务匹配。 - 参数初始化与优化涉及Xavier/He初始化，权重和偏置初始化，优化算法如SGD、Adam，针对不同场景选择。 - 学习率调整与正则化，如动态学习率、L1/L2正则化、早停法和Dropout，以改善训练和泛化。
算法金
44 0
算法金 | DL 骚操作扫盲，神经网络设计与选择、参数初始化与优化、学习率调整与正则化、Loss Function、Bad Gradient
拓端数据部落
|
6月前
|
vr&ar
R语言如何做马尔可夫转换模型markov switching model
R语言如何做马尔可夫转换模型markov switching model
拓端数据部落
30 0
拓端数据部落
|
6月前
|
vr&ar
R语言如何做马尔科夫转换模型markov switching model
R语言如何做马尔科夫转换模型markov switching model
拓端数据部落
47 0
小小何先生
|
机器学习/深度学习 算法
少样本学习系列(三)【Optimization-Based Methods】
少样本学习系列(三)【Optimization-Based Methods】
小小何先生
143 0
AiCharm
|
机器学习/深度学习 开发框架 算法
动手学强化学习（二）：马尔可夫决策过程 （Markov decision process，MDP）
 马尔可夫决策过程（Markov decision process，MDP）是强化学习的重要概念。要学好强化学习，我们首先要掌握马尔可夫决策过程的基础知识。前两章所说的强化学习中的环境一般就是一个马尔可夫决策过程。与多臂老虎机问题不同，马尔可夫决策过程包含状态信息以及状态之间的转移机制。如果要用强化学习去解决一个实际问题，第一步要做的事情就是把这个实际问题抽象为一个马尔可夫决策过程，也就是明确马尔可夫决策过程的各个组成要素。本章将从马尔可夫过程出发，一步一步地进行介绍，最后引出马尔可夫决策过程。
AiCharm
1607 0
皮卡丘敲级可爱
最优化学习 牛顿法（Newton’s method）
最优化学习 牛顿法（Newton’s method）
皮卡丘敲级可爱
122 0
最优化学习 牛顿法（Newton’s method）
张继群
|
算法 数据可视化
smooth的作用，Adam算法引入了二阶动量的概念
在loss function中的主要目的是把loss function变成continuous differerntiable function（连续可微分函数），从而在optimization（优化）
张继群
211 0
revolution2u
Newton-Raphson method牛顿法公式推导
牛顿法的用处，①求解方程的根，用一阶泰勒展开；②用于凸优化，用二阶泰勒展开。
revolution2u
3384 0
Matlab科研工作室
|
机器学习/深度学习 算法 计算机视觉
【智能优化算法】基于凌日算法求解单目标优化问题附matlab代码Transit Search Optimization Algorithm
【智能优化算法】基于凌日算法求解单目标优化问题附matlab代码Transit Search Optimization Algorithm
Matlab科研工作室
392 0
【智能优化算法】基于凌日算法求解单目标优化问题附matlab代码Transit Search Optimization Algorithm
木舟笔记
|
机器学习/深度学习 算法 数据挖掘
Nat Commun&JAMA INTERN MED|浅析两篇LASSO+Logistic/Cox 套路文章
Nat Commun&JAMA INTERN MED|浅析两篇LASSO+Logistic/Cox 套路文章
木舟笔记
302 0
Nat Commun&JAMA INTERN MED|浅析两篇LASSO+Logistic/Cox 套路文章