程序员的数学【最优化】(三)

简介: 本文其实值属于:程序员的数学【AIoT阶段二】 的一部分内容,本篇把这部分内容单独截取出来,方便大家的观看,本文介绍 最优化

五、坐标下降法

🚩坐标下降法就是分治法的思想。

image.pngimage.png

六、最优化算法瓶颈

🚩前面梯度下降法,还有牛顿法求极值的依据都是ᐁf(xk)=0,而前面我们也说了函数在某一点的导数或梯度等于 0  就是驻点,它只是函数取得极值的必要条件,不是充分条件,也就是说无法推导出

image.png

所有我们前面介绍的数值优化算法,都会面临两个问题。

6.1 局部极值问题

🚩这个问题好歹是个局部极值,只不过不是全局极值,理论上我们要求全局最优解的话,我们要把所有极小值找出来,你可能要不断的去设置不同的初始迭代点,反复的求解让它收敛到不同的局部最小值,然后来比较谁最小来找到一个全局最小值。

48.png

6.2 鞍点问题

🚩前面我们说过一元函数x3函数,在坐标为 0  处它是驻点,但是它连局部最小值都不是,对应多元函数来说,我们称之为鞍点(既不是极大值点也不是极小值点的临界点,叫做鞍点)。严格定义是,在这一点它的Hessian 矩阵是不定的,既不正定也不负定,这样它就即不是极小值的点也不是极大值的点。

49.png

在物理上要广泛一些,指在一个方向是极大值,另一个方向是极小值的点。

50.png

七、凸优化问题

🚩前面我们说过数值优化面临两个问题,一个是局部极值问题,和鞍点问题,我们能不能避免这两个问题呢?

只要我们对优化问题进行限定就可以,这类问题有两个限定条件

1、优化变量的可行域必须是凸集

2、优化函数必须是个凸函数

同时满足这两个限定条件的问题,叫做凸优化问题,从而才有局部极小值进而全局极小值。

八、凸集

🚩凸集的定义:对于一个点的集合C有 x , y 它都是属于 C 里面的两个点,它们两点的连线中任何一点也是属于集合 C 的。例如立方体就是凸集。

image.png

它的意义在于,很多时候可行域就是欧式空间,那肯定是凸集。在凸集的前提下,才可以进行最优化问题求解。

九、凸函数

🚩凸函数在函数上任意找两点它们的连续就是割线上的值比对应的 f(x)的值要大

51.png

函数的二阶导数是和函数的凹凸性是有关系的,凹凸性怎么定义的?


先来做简单的介绍,这里先记住凸函数是向下凸的, 反正就是凹的,是否是凸函数可以通过二阶导数,如果二阶导数是大于 0 就是凸函数

52.png

如果一元函数,那么f′′(x)≥0就是凸函数。多元函数Hessian矩阵是半正定的,它就是凸函数;多元函数Hessian矩阵是正定的,它就是严格的凸函数。

image.png

十、凸优化表达形式

🚩凸优化的定义是目标函数是凸函数,可行域是个凸集,如果有这两个限定条件的话,局部最优解一定是全局最优解。

凸优化一般表达形式:

image.png

十一、拉格朗日乘子法

🚩高等数学和微积分的时候我相信大家都学过,用来求解等式约束下的极值问题的

image.png

拉格朗日乘子法,把对 x带约束条件的优化问题,转化为不带约束条件的优化问题

image.png

image.png

十二、KKT条件

🚩假设我们面对的是不等式条件约束优化问题,如下:

image.png

针对上式,显然是一个不等式约束最优化问题,不能再使用拉格朗日乘数法,因为拉格朗日乘数法是针对等式约束最优化问题。

拉格朗日乘数法的扩展,用来解决带不等式约束条件的一种理论结果:

image.png

约束条件为:

  • ᐁL(x,λ)=0
  • λ ≥ 0
  • λh(x)=0

上面条件就称为KKT 条件。

十三、拉格朗日对偶

🚩凸优化,非线性规划问题,甚至是运筹学里面的线性规划问题都会涉及这个概念,它的意义是把原始问题转化为另外一个问题来求解,但是转化之后的问题要容易求解一点,拉格朗日乘数法的扩展,用来解决既带等式约束条件,又带不等式约束条件的一种方法通过把原问题转换为对偶问题来求解,很多时候对偶问题比原问题更容易求解。

image.png

原始问题

image.png

我们定义对偶问题为(对上面方程的求解等效求解下面方程):

image.png

其实就是把 m i n 和 m a x  对调了一下,当然对应的变量也要变换。

image.png53.png







目录
相关文章
|
11月前
|
人工智能 运维 监控
光伏EPC增收新路径:智能运维系统解决方案全景解析
光伏EPC企业面临低价竞争、利润下滑困境,传统工程模式难以为继。需向长期运营服务商转型,破解“内卷”。智能运维成破局关键,通过数据整合、AI诊断、价值量化,实现运维标准化、产品化。可探索年费套餐、增值服务分成、平台化扩张三大路径,构建可持续收入模式,打造核心竞争力。
579 2
光伏EPC增收新路径:智能运维系统解决方案全景解析
|
XML JSON Java
Spring框架中常见注解的使用规则与最佳实践
本文介绍了Spring框架中常见注解的使用规则与最佳实践,重点对比了URL参数与表单参数的区别,并详细说明了@RequestParam、@PathVariable、@RequestBody等注解的应用场景。同时通过表格和案例分析,帮助开发者正确选择参数绑定方式,避免常见误区,提升代码的可读性与安全性。
|
运维 Prometheus 监控
别再“亡羊补牢”了!——聊聊如何优化企业的IT运维监控架构
别再“亡羊补牢”了!——聊聊如何优化企业的IT运维监控架构
514 8
|
机器学习/深度学习 测试技术 计算机视觉
YOLOv11改进策略【Conv和Transformer】| ICCV-2023 iRMB 倒置残差移动块 轻量化的注意力模块
YOLOv11改进策略【Conv和Transformer】| ICCV-2023 iRMB 倒置残差移动块 轻量化的注意力模块
475 7
YOLOv11改进策略【Conv和Transformer】| ICCV-2023 iRMB 倒置残差移动块 轻量化的注意力模块
|
存储 Java
【编程基础知识】《Java 起航指南:配置 Java 环境变量的秘籍与奥秘》
本文详细介绍了如何配置 Java 环境变量及其重要性,通过具体步骤、代码示例和流程图,帮助初学者轻松掌握 Java 环境变量的设置,为 Java 编程打下坚实基础。关键词:Java、环境变量、配置方法、编程基础。
948 57
|
人工智能 供应链 搜索推荐
2025年中国快消品企业CRM选型指南
本文围绕2025年中国快消品企业CRM选型展开。快消行业数字化转型加速,CRM至关重要,但企业转型面临诸多困境。文章提出CRM选型的常规标准,并对比纷享销客、用友、勤策等五家主流服务商。
|
机器学习/深度学习 大数据 数据管理
一图尽览:AllData数据中台商业版与开源版功能对比
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
PyTorch 算法框架/工具
时间序列预测:CNN+LSTM+Attention模型实战
时间序列预测:CNN+LSTM+Attention模型实战
2495 0
|
安全 Linux Shell
|
设计模式 开发者
代码复用的重要性及最佳实践
【8月更文挑战第13天】代码复用是软件开发中不可或缺的一部分。通过复用现有的、经过验证的代码,开发者可以加速开发过程、提高软件质量、降低错误率并促进团队协作。为了实现代码复用,开发者需要遵循模块化设计原则、利用现有的库和框架、封装和抽象代码、遵循设计模式以及编写可复用的代码。同时,他们还需要定期维护和更新复用代码以确保其持续有效。
1243 3