《最优化方法》这门课结束了,但是仅仅会做几道题怎么能够,所以借由期末复习的机会梳理本课程学习思路。但是受限于课时情况,所以不可能整理详尽,后期再继续更新。
0 序
1 数学预备知识(见参考书籍1,下次整理发表,记得贴图)
每次学习新内容,最容易劝退的就是前序知识
1.1 数学预备知识
- 范数(2范数)
- 梯度向量
- Hesse矩阵:本质还是求偏导
泰勒展开
泰勒公式是如何推导出来的? - 马同学的回答 - 知乎
用多项式函数去近似代替一般函数
理清楚n元二阶泰勒展开式,以及其向量矩阵形式就够了。
1.2 微积分预备知识
- 极值与最值的区别
- 极值相关的一些结论,搞清楚充分条件和必要条件。
1.3 凸集与凸函数
1 凸集的相关概念,很多名词。
- 超平面、半空间,超球,欧式空间
- 凸组合
2 凸函数
凸函数与严格凸函数
从几何意义上把握比较直观,弦在弧上
- 一阶条件
- 二阶条件
2线性规划
2.1标准形式
统一规定最优化目标为函数的**最大值(做题)**或者最小值皆可。
根据特点来变换:
- 约束中微线性等式约束以及对决策变量(参数)的非负约束(参数的非负表现为≥0)
- 等式右边常数为非负
- 目标函数为决策变量的线性组合(一变皆变)
来个例题体会一下
2.2 单纯形法(这部分课程中未涉及,自行学习)
3无约束最优化算法
3.1 无约束优化问题一般格式
3.2一维搜索(线性搜索)
已知初始点和方向,求步长的过程
3.3 终止准则
下一篇文章将介绍《最优化方法》中无约束优化的具体算法以及约束优化中的KKT。