《最优化方法》——数学基础知识&线性规划&无约束优化算法初步

简介: 《最优化方法》——数学基础知识&线性规划&无约束优化算法初步

《最优化方法》这门课结束了,但是仅仅会做几道题怎么能够,所以借由期末复习的机会梳理本课程学习思路。但是受限于课时情况,所以不可能整理详尽,后期再继续更新。


0 序



1 数学预备知识(见参考书籍1,下次整理发表,记得贴图)


每次学习新内容,最容易劝退的就是前序知识


1.1 数学预备知识

  • 范数(2范数)

image.png

  • 梯度向量

image.png

  • Hesse矩阵:本质还是求偏导

image.png


泰勒展开

image.png

泰勒公式是如何推导出来的? - 马同学的回答 - 知乎


用多项式函数去近似代替一般函数

理清楚n元二阶泰勒展开式,以及其向量矩阵形式就够了。

a7813cc250a2418eafa93c8d56f024c6.png

image.png


1.2 微积分预备知识

  • 极值与最值的区别
  • 极值相关的一些结论,搞清楚充分条件和必要条件。

image.png

image.png


1.3 凸集与凸函数

1 凸集的相关概念,很多名词。

  • 超平面、半空间,超球,欧式空间
  • 凸组合

image.png


2 凸函数

凸函数与严格凸函数

从几何意义上把握比较直观,弦在弧上

image.png

  • 一阶条件

image.png

  • 二阶条件

image.png


2线性规划


2.1标准形式

统一规定最优化目标为函数的**最大值(做题)**或者最小值皆可。


根据特点来变换:

  1. 约束中微线性等式约束以及对决策变量(参数)的非负约束(参数的非负表现为≥0)
  2. 等式右边常数为非负
  3. 目标函数为决策变量的线性组合(一变皆变)


来个例题体会一下

image.png

image.png


2.2 单纯形法(这部分课程中未涉及,自行学习)


3无约束最优化算法


3.1 无约束优化问题一般格式

image.png


3.2一维搜索(线性搜索)

已知初始点和方向,求步长的过程

image.png


3.3 终止准则

image.png

下一篇文章将介绍《最优化方法》中无约束优化的具体算法以及约束优化中的KKT。

目录
相关文章
|
27天前
|
机器学习/深度学习 算法 数据挖掘
没发论文的注意啦!重磅更新!GWO-BP-AdaBoost预测!灰狼优化、人工神经网络与AdaBoost集成学习算法预测研究(Matlab代码实现)
没发论文的注意啦!重磅更新!GWO-BP-AdaBoost预测!灰狼优化、人工神经网络与AdaBoost集成学习算法预测研究(Matlab代码实现)
|
27天前
|
机器学习/深度学习 数据采集 传感器
具有多种最大功率点跟踪(MPPT)方法的光伏发电系统(P&O-增量法-人工神经网络-模糊逻辑控制-粒子群优化)之使用粒子群算法的最大功率点追踪(MPPT)(Simulink仿真实现)
具有多种最大功率点跟踪(MPPT)方法的光伏发电系统(P&O-增量法-人工神经网络-模糊逻辑控制-粒子群优化)之使用粒子群算法的最大功率点追踪(MPPT)(Simulink仿真实现)
|
27天前
|
机器学习/深度学习 算法 安全
计及需求响应的粒子群算法求解风能、光伏、柴油机、储能容量优化配置(Matlab代码实现)
计及需求响应的粒子群算法求解风能、光伏、柴油机、储能容量优化配置(Matlab代码实现)
|
1月前
|
算法 数据安全/隐私保护
基于PSO粒子群优化算法的256QAM星座图的最优概率整形matlab仿真,对比PSO优化前后整形星座图和误码率
本项目基于MATLAB 2022a仿真256QAM系统,采用概率星座整形(PCS)技术优化星座点分布,结合粒子群优化(PSO)算法搜索最优整形因子v,降低误码率,提升传输性能。核心程序包含完整优化流程。
62 0
|
25天前
|
机器学习/深度学习 算法 数据可视化
近端策略优化算法PPO的核心概念和PyTorch实现详解
本文深入解析了近端策略优化(PPO)算法的核心原理,并基于PyTorch框架实现了完整的强化学习训练流程。通过Lunar Lander环境展示了算法的全过程,涵盖环境交互、优势函数计算、策略更新等关键模块。内容理论与实践结合,适合希望掌握PPO算法及其实现的读者。
217 2
近端策略优化算法PPO的核心概念和PyTorch实现详解
|
22天前
|
机器学习/深度学习 算法 新能源
【优化调度】基于matlab粒子群算法求解水火电经济调度优化问题研究(Matlab代码实现)
【优化调度】基于matlab粒子群算法求解水火电经济调度优化问题研究(Matlab代码实现)
|
24天前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于PSO粒子群优化的XGBoost时间序列预测算法matlab仿真
本程序基于Matlab 2024b实现,结合粒子群优化(PSO)与XGBoost算法,用于时间序列预测。通过PSO优化XGBoost超参数,提升预测精度。程序包含完整注释与操作视频,运行后生成预测效果图及性能评估指标RMSE。
|
22天前
|
存储 算法 安全
【无人机】基于灰狼优化算法的无人机路径规划问题研究(Matlab代码实现)
【无人机】基于灰狼优化算法的无人机路径规划问题研究(Matlab代码实现)
118 0
|
22天前
|
机器学习/深度学习 数据采集 算法
【创新无忧】基于白鲨算法WSO优化广义神经网络GRNN电机故障诊断(Matlab代码实现)
【创新无忧】基于白鲨算法WSO优化广义神经网络GRNN电机故障诊断(Matlab代码实现)
|
23天前
|
算法 Java 调度
【车间调度】基于GA、PSO、SA、ACO、TS优化算法的车间调度比较研究(Matlab代码实现)
【车间调度】基于GA、PSO、SA、ACO、TS优化算法的车间调度比较研究(Matlab代码实现)
101 0

热门文章

最新文章