基本概念

拉格朗日乘子法（Lagrange Multipliers）是一种寻找多元函数在一组约束下的极值的方法。通过引入拉格朗日乘子，可以将有$d$个变量与$k$个约束条件的最优化问题转化为具有$d+k$个变量的无约束优化问题。¹

问题求解

等式约束

约束曲面与极值曲面相切的点为极值点$\mathbf x^\ast$。

• 对于约束曲面上的任意点$\mathbf x$，该点的梯度$\nabla g(\mathbf x)$正交于约束曲面。
• 在最优点$\mathbf x^\ast$，目标函数在该点的梯度$\nabla f(\mathbf x^\ast)$正交于约束曲面。

在最优点$\mathbf x^\ast$梯度$\nabla g(\mathbf x)$和$\nabla f(\mathbf x)$的方向必相同或相反，即存在$\lambda\ne 0$，使得$\nabla f(\mathbf x^\ast)+\lambda\nabla g(\mathbf x^\ast)=0$ 构造拉格朗日函数$L(\mathbf x,\lambda)=f(\mathbf x)+\lambda g(\mathbf x)$

• $\nabla_\mathbf xL(\mathbf x,\lambda)=0 \Rightarrow \nabla f(\mathbf x^\ast)+\lambda\nabla g(\mathbf x^\ast)=0$
• $\nabla_\lambda L(\mathbf x,\lambda)=0 \Rightarrow g(\mathbf x)=0$

不等式约束

最优点在不等式约束的区域内时，等价于无约束问题。最优点在不等式约束边界上时，等价于等式约束问题。

• 对于情况一，最优点在$g(\mathbf x)<0$区域内，令$\nabla f(\mathbf x)=0$求解。即$\nabla_\mathbf xL(\mathbf x, 0)=0$。
• 对于情况二，最优解在$g(\mathbf x)=0$上，即存在$\nabla f(\mathbf x^\ast)+\lambda\nabla g(\mathbf x^\ast)=0$。注意到若两个梯度方向相同，则还可再优化，$\mathbf x$不是最优解。因此，需要取两个梯度方向相反，即$\lambda > 0$。

结合上述两种情况，二者都满足$\lambda g(\mathbf x)=0$。因此，原优化问题可以转化成在KKT（Karush-Kuhn-Tucker）条件下的最小化拉格朗日函数