最速(陡)下降法（steepest Descent)
v正则化为2范数
v为1范数和v为无穷范数
Steepest Gradient的变种
坐标轴交替下降法(Coordinate Descent)
若f(x)在某点不可微(引入次梯度 subgradient)
例子
最优化学习 最速下降法（steepest Descent)
2022-11-15
104
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
最优化学习 最速下降法（steepest Descent)
目录
相关文章
|
机器学习/深度学习
自然语言处理
算法
深度学习基础入门篇[三]：优化策略梯度下降算法：SGD、MBGD、Momentum、Adam、AdamW
深度学习基础入门篇[三]：优化策略梯度下降算法：SGD、MBGD、Momentum、Adam、AdamW
1486
0
0
![深度学习基础入门篇[三]：优化策略梯度下降算法：SGD、MBGD、Momentum、Adam、AdamW](https://ucc.alicdn.com/pic/developer-ecology/fnj5anauszhew_f511d389031a4c4bad8dee88a9c27c42.jpeg?x-oss-process=image/resize,h_160,m_lfit)
|
算法
|
机器学习/深度学习
数据采集
前端开发
|
机器学习/深度学习
算法
机器学习算法之——梯度提升（Gradient Boosting）下
GDBT本身并不复杂，不过要吃透的话需要对集成学习的原理、策树原理和各种损失函树有一定的了解。由于GBDT的卓越性能，只要是研究机器学习都应该掌握这个算法，包括背后的原理和应用调参方法。目前GBDT的算法比较好的库是xgboost。当然scikit-learn也可以。
259
0
0
|
机器学习/深度学习
算法
Python
机器学习算法之——梯度提升（Gradient Boosting）上
由于每个子模型要使用全部的数据集进行训练，因此 Ada Boosting 算法中没有 oob 数据集，在使用 Ada Boosting 算法前，需要划分数据集：train_test_split；
165
0
0
|
机器学习/深度学习
算法
|
算法
|
算法
|
机器学习/深度学习
智能设计
自然语言处理
Gradient Normalization在多任务学习中的优化实践
在每平每屋以及我们团队负责的其他一些场景，MMoE多任务模型是精排阶段常用的模型。在每平每屋场景中，我们使用MMoE模型，对场景中的三个任务同时进行点击率预估，即内容的一跳点击、内容详情页点击以及跳转的商品详情页点击。
529
0
0
|
机器学习/深度学习
热门文章
最新文章
1
MySQL数据库重命名的方法
2
CVE-2017-9805:Struts2 REST插件远程执行命令漏洞(S2-052) 分析报告
3
阿里云播放器SDK的正确打开方式 | 功能、架构与应用（一）
4
流言终结者- Flutter和RN谁才是更好的跨端开发方案？
5
Linux 多核下绑定硬件中断到不同 CPU（IRQ Affinity）
6
PostgreSQL 聚合函数讲解 - 3 总体|样本 方差, 标准方差
7
利用Serverless Kubernetes和Kaniko快速自动化构建容器镜像
8
袋鼠云数据中台专栏（五）：数栈，企业级一站式数据中台PaaS
9
企业微信开发（二）：API对接及Demo程序
10
一篇文章深入浅出带你了解mybatis
1
如果使用已经到达 End of life 的 Angular 版本会遇到什么问题
21
2
印刷文字识别产品使用合集之部署失败如何解决
22
3
印刷文字识别产品使用合集之API接口无法调用如何解决
22
4
什么是计算机图形领域的 color saturation
26
5
mvp架构
21
6
dex、vdex、.odex与.oat
26
7
java调用kotlin代码编译报错“找不到符号”的问题
16
8
印刷文字识别产品使用合集之身份证识别接口有哪些
18
9
Build was configured to prefer settings repositories over project repositories but repository
16
10
Java注解之编译时注解
16