优化问题一般可分为两大类：无约束优化问题和约束优化问题，约束优化问题又可分为含等式约束优化问题和含不等式约束优化问题。
- 无约束优化问题
- 含等式约束的优化问题
- 含不等式约束的优化问题
针对以上三种情形，各有不同的处理策略：
- 无约束的优化问题：可直接对其求导，并使其为0，这样便能得到最终的最优解；
- 含等式约束的优化问题：主要通过拉格朗日乘数法将含等式约束的优化问题转换成为无约束优化问题求解；
- 含有不等式约束的优化问题：主要通过KKT条件(Karush-Kuhn-Tucker Condition)将其转化成无约束优化问题求解
