最优化方法

属应用数学问题，指在一定条件限制下，选取某种研究方案使目标达到最优的

一种方法

梯度下降法；牛顿法；共轭梯度法；启发式优化方法

Hessian矩阵

正定性

机器学习，通常是建立优化模型，通过最优化方法优化损失函数，训练出最好

的模型

间接法 (解析法)

系统模型具有明确的数学解析表达式的最优化问题，根据函数极值的必要条件和充分条件

求出其最优解析解

直接法 (数值解法)

无法用明确的数学解析表达式表达其系统模型，通过数值计算，在经过迭代过程产生的点列中

直接搜索，使其逐步逼近最优点

以解析法为基础的数值解法

以梯度法为基础，将解析法与数值计算相结合的最优化求解方法

网络最优化方法

以网络图作为数学模型，用图论方法进行搜索的最优化求解方法

现代优化算法

运用现代智能计算方法，如遗传算法、模拟退火算法、蚁群算法等，进行直 接搜索的最优化求解方法