AI 助理
备案控制台
开发者社区 人工智能 文章 正文

最优化学习 拟牛顿法（Quasi-Newton Method）

2022-11-15 287
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 最优化学习 拟牛顿法（Quasi-Newton Method）

拟牛顿法（Quasi-Newton Method）


image.png

20210530192636936.jpg

得到矩阵Bk+1


image.png



这样我们就可以得到image.png

2021053019264230.jpg

获取Bk+1和Hk+1


第一类方法：选择满足拟牛顿方程且与B k B近似的矩阵

第二类方法：对B k 或H k 进行校正，如B k + 1 = B k + Δ B

rank-2 校正 Δ B 秩为2 DFP方法,BFGS方法

rank-1 校正 Δ B 秩为1 SR-1方法


20210530192645912.jpg


DFP方法(Davidon-Fletche Powell)


可以看作是rank-2校正


image.png

20210530192657335.jpg


BFGS方法(Broyden-Fletcher-Goldfarb-Shannon)


可以看作是rank-2校正

image.png


20210530192701849.jpg


Broyden类算法和Sherman-Morrison公式


Sherman-Morrison公式


假设A是n阶可逆矩阵,u ,v是n 维向量，且( A + u v T ) 也是可逆矩阵，则

image.png


20210530192706930.jpg

SR-1方法


image.png

20210530192711754.jpg

文章标签：
算法
皮卡丘敲级可爱
目录
相关文章
算法金
|
6月前
|
机器学习/深度学习 数据采集 监控
算法金 | DL 骚操作扫盲，神经网络设计与选择、参数初始化与优化、学习率调整与正则化、Loss Function、Bad Gradient
**神经网络与AI学习概览** - 探讨神经网络设计，包括MLP、RNN、CNN，激活函数如ReLU，以及隐藏层设计，强调网络结构与任务匹配。 - 参数初始化与优化涉及Xavier/He初始化，权重和偏置初始化，优化算法如SGD、Adam，针对不同场景选择。 - 学习率调整与正则化，如动态学习率、L1/L2正则化、早停法和Dropout，以改善训练和泛化。
算法金
55 0
算法金 | DL 骚操作扫盲，神经网络设计与选择、参数初始化与优化、学习率调整与正则化、Loss Function、Bad Gradient
小磊数学建模
|
算法
2022小美赛B题The Genetic Process of Sequences序列的遗传过程思路分享
2022小美赛B题The Genetic Process of Sequences序列的遗传过程思路分享
小磊数学建模
2715 1
2022小美赛B题The Genetic Process of Sequences序列的遗传过程思路分享
皮卡丘敲级可爱
最优化学习 牛顿法（Newton’s method）
最优化学习 牛顿法（Newton’s method）
皮卡丘敲级可爱
129 0
最优化学习 牛顿法（Newton’s method）
卢衍飞
|
机器学习/深度学习 算法 Serverless
非梯度类启发式搜索算法：Nelder Mead
Nelder Mead 算法通常是用来求解非线性（nonlinear）、导函数未知情况下目标函数的最大值或者最小值。学过梯度下降的同学应该知道，梯度下降类算法的每一步都需要计算当前位置的梯度，从而更新当前解使得最终逐渐逼近最优解。但在某一些情况下，目标函数的梯度难以求得或是函数值离散的情况下，这时候便无法直接使用梯度类算法来求解了。
卢衍飞
507 0
皮卡丘敲级可爱
|
机器学习/深度学习
最优化学习 数值优化的例子：实现最小二乘法
最优化学习 数值优化的例子：实现最小二乘法
皮卡丘敲级可爱
182 0
最优化学习 数值优化的例子：实现最小二乘法
AIEarth
|
机器学习/深度学习 算法 Python
机器学习实战 决策树代码 计算香农熵 Error return arrays must be of ArrayType
机器学习实战 决策树代码 计算香农熵 Error return arrays must be of ArrayType
AIEarth
153 0
revolution2u
Newton-Raphson method牛顿法公式推导
牛顿法的用处，①求解方程的根，用一阶泰勒展开；②用于凸优化，用二阶泰勒展开。
revolution2u
3396 0
张继群
|
算法 数据可视化
smooth的作用，Adam算法引入了二阶动量的概念
在loss function中的主要目的是把loss function变成continuous differerntiable function（连续可微分函数），从而在optimization（优化）
张继群
235 0
府学路18号车神
|
机器学习/深度学习 分布式计算 算法
⚡机器学习⚡交替方向乘数法（Alternating Direction Method of Multipliers，ADMM）
⚡机器学习⚡交替方向乘数法（Alternating Direction Method of Multipliers，ADMM）
府学路18号车神
1566 0
⚡机器学习⚡交替方向乘数法（Alternating Direction Method of Multipliers，ADMM）
pzf3zdekdh6es
|
算法 搜索推荐
模拟退火(SA)算法求解Max-Minsum Dispersion Problem（附代码及详细注释）
模拟退火(SA)算法求解Max-Minsum Dispersion Problem（附代码及详细注释）
pzf3zdekdh6es
258 0
模拟退火(SA)算法求解Max-Minsum Dispersion Problem（附代码及详细注释）

热门文章

最新文章

  • 1
    ToC和ToB有啥区别
  • 2
    多中心容灾实践：如何实现真正的异地多活？
  • 3
    时间序列预测：CNN+LSTM+Attention模型实战
  • 4
    DSP_代码笔记（基于TMS320X281x）
  • 5
    Confluence 6 那些文件需要备份
  • 6
    区块链技术将占据全球金融系统核心地位
  • 7
    一个有味道的函数
  • 8
    ceph启动脚本
  • 9
    [CLR via C#]7. 常量和字段
  • 10
    JSP基础7
  • 1
    PsycoLLM：开源的中文心理大模型，免费 AI 心理医生，支持心理健康评估与多轮对话
    79
  • 2
    KAG：增强 LLM 的专业能力！蚂蚁集团推出专业领域知识增强框架，支持逻辑推理和多跳问答
    77
  • 3
    Gemini Coder：基于 Google Gemini API 的开源 Web 应用生成工具，支持实时编辑和预览
    50
  • 4
    AddressCLIP：一张照片就能准确定位！中科院联合阿里云推出街道级图像地理定位模型
    48
  • 5
    MiniPerplx：基于 Grok 2.0 的开源 AI 搜索引擎，支持网页、学术、视频搜索
    35
  • 6
    CreatiLayout：复旦与字节联合推出布局到图像生成技术，支持高质量图像生成与布局优化
    35
  • 7
    Cosmos：英伟达生成式世界基础模型平台，加速自动驾驶与机器人开发
    34
  • 8
    AIOpsLab：云服务自动化运维 AI，微软开源云服务 AI 框架，覆盖整个生命周期
    35
  • 9
    《docker基础篇：4.Docker镜像》包括是什么、分层的镜像、UnionFS（联合文件系统）、docker镜像的加载原理、为什么docker镜像要采用这种分层结构呢、docker镜像commit
    91
  • 10
    《鸿蒙安全沙箱机制——人工智能应用的安全护盾》
    23

    • 相关电子书

    更多
  • ADMM
  • 低代码开发师（初级）实战教程
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    DataWorks智能交互式数据开发与分析之旅