由于外部罚函数法随着罚因子的增大，增广目标函数的Hesse矩阵条件变得越来越坏，从而导致在实际计算中，数值计算的稳定性变得越来越差，难以精确求解，乘子法是在约束问题的Lagrange函数中加入相应的惩罚，使得在求解系列无约束问题时，罚因子不必趋于无穷大就能求到约束问题的最优解，而且数值计算的稳定性也能得到很好的保证。理论与实践皆表明，乘子法优于外部罚函数法。
等式约束的情形
考虑等式约束问题，将其写成向量形式为：
由此可见，约束问题与下述问题等价：
使用外部罚函数法，其增广目标函数为：
一般约束情形
对于一般约束问题
仿照前面的推导，可得增广目标函数为：
乘子迭代公式为：
我的微信公众号名称：深度学习与先进智能决策
微信公众号ID：MultiAgent1024
公众号介绍：主要研究分享深度学习、机器博弈、强化学习等相关内容！期待您的关注，欢迎一起学习交流进步！
