最速(陡)下降法（steepest Descent)
v正则化为2范数
v为1范数和v为无穷范数
Steepest Gradient的变种
坐标轴交替下降法(Coordinate Descent)
若f(x)在某点不可微(引入次梯度 subgradient)
例子
最优化学习 最速下降法（steepest Descent)
2022-11-15
152
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
最优化学习 最速下降法（steepest Descent)
目录
相关文章
|
5月前
|
6月前
|
算法
梯度下降算法（二）
梯度下降法中，学习率选择至关重要。0.3的学习率导致无法找到最小值且产生震荡，而0.01则使结果接近最优解（2.99998768）。当学习率进一步减小至0.001，点远离最低点。通过迭代次数增加至1000次，可更接近最低点（2.999999999256501）。梯度下降用于最小化损失，学习率控制参数更新步长，需平衡收敛速度和稳定性。迭代次数和初始点也影响模型性能，合适的初始化能加速收敛并避开局部极小值。
77
3
3
|
6月前
|
机器学习/深度学习
存储
算法
梯度下降算法（一）
梯度下降是一种迭代优化算法，用于找到多变量函数的最小值。它不直接求解方程，而是从随机初始点开始，沿着梯度（函数增大幅度最大方向）的反方向逐步调整参数，逐步逼近函数的最小值。在单变量函数中，梯度是导数，而在多变量函数中，梯度是一个包含所有变量偏导数的向量。通过计算梯度并乘以学习率，算法更新参数以接近最小值。代码示例展示了如何用Python实现梯度下降，通过不断迭代直到梯度足够小或达到预设的最大迭代次数。该过程可以类比为在雾中下山，通过感知坡度变化来调整前进方向。
117
2
2
|
机器学习/深度学习
自然语言处理
算法
深度学习基础入门篇[三]：优化策略梯度下降算法：SGD、MBGD、Momentum、Adam、AdamW
深度学习基础入门篇[三]：优化策略梯度下降算法：SGD、MBGD、Momentum、Adam、AdamW
2364
0
0
![深度学习基础入门篇[三]：优化策略梯度下降算法：SGD、MBGD、Momentum、Adam、AdamW](https://ucc.alicdn.com/pic/developer-ecology/fnj5anauszhew_f511d389031a4c4bad8dee88a9c27c42.jpeg?x-oss-process=image/resize,h_160,m_lfit)
|
算法
|
机器学习/深度学习
算法
Python
机器学习算法之——梯度提升（Gradient Boosting）上
由于每个子模型要使用全部的数据集进行训练，因此 Ada Boosting 算法中没有 oob 数据集，在使用 Ada Boosting 算法前，需要划分数据集：train_test_split；
228
0
0
|
机器学习/深度学习
算法
机器学习算法之——梯度提升（Gradient Boosting）下
GDBT本身并不复杂，不过要吃透的话需要对集成学习的原理、策树原理和各种损失函树有一定的了解。由于GBDT的卓越性能，只要是研究机器学习都应该掌握这个算法，包括背后的原理和应用调参方法。目前GBDT的算法比较好的库是xgboost。当然scikit-learn也可以。
356
0
0
|
机器学习/深度学习
算法
|
算法
|
机器学习/深度学习
算法
TensorFlow
热门文章
最新文章
1
天猫精灵开放平台-之小百科测评
2
语义检索系统：基于Milvus 搭建召回系统抽取向量进行检索，加速索引
3
3D立方体图片切换动画
4
模态对话框和非模态对话框
5
java03
6
冒泡排序
7
Windows XP客户端加域操作手册上
8
微信 6.5.1 for iOS发布 可以在朋友圈分享相册中的视频
9
Chapter 1: Creating the GUI Form and Adding Widgets
10
【Mockplus教程】帐号和购买
1
「Mac畅玩鸿蒙与硬件42」UI互动应用篇19 - 数字键盘应用
34
2
赋能加速AI应用交付，F5 BIG-IP Next for Kubernetes方案解读
30
3
RAG分块策略：主流方法（递归、jina-seg）+前沿推荐（Meta-chunking、Late chunking、SLM-SFT）
25
4
Python学习的自我理解和想法（2）
27
5
Transformer图解
34
6
API安全专题：如何有效应对新型Bot攻击？
18
7
Selenium IDE：Web自动化测试的得力助手
31
8
《docker高级篇（大厂进阶）：5.Docker-compose容器编排》包括是什么能干嘛去哪下、Compose核心概念、Compose使用三个步骤、Compose常用命令、Compose编排微服务
49
9
24/7全时守护：AI视频监控技术的深度实现与应用分享
41
10
《docker高级篇（大厂进阶）：6.Docker轻量级可视化工具Portainer》
27