凸优化
数值优化算法面临两个方面的问题：局部极值，鞍点。前者是梯度为0的点，也是极值点，但不是全局极小值；后者连局部极值都不是，在鞍点处Hessian矩阵不定，即既非正定，也非负定。
凸优化通过对目标函数，优化变量的可行域进行限定，可以保证不会遇到上面两个问题。
凸优化是一类特殊的优化问题，它要求：
优化变量的可行域是一个凸集
目标函数是一个凸函数
凸优化最好的一个性质是：所有局部最优解一定是全局最优解。
机器学习中典型的凸优化问题有：
线性回归
岭回归
LASSO回归
Logistic回归
支持向量机
Softamx回归
