拉格朗日乘子法

Wed, 18 Mar 2026 00:00:00 +0000

基本概念

拉格朗日乘子法（Lagrange Multipliers）是一种寻找多元函数在一组约束下的极值的方法。通过引入拉格朗日乘子，可以将有$d$个变量与$k$个约束条件的最优化问题转化为具有$d+k$个变量的无约束优化问题。¹

问题求解

等式约束

$$ \min_\mathbf x f(\mathbf x)\qquad\text{s.t.}\quad g(\mathbf x)=0, $$

约束曲面与极值曲面相切的点为极值点$\mathbf x^\ast$。

对于约束曲面上的任意点$\mathbf x$，该点的梯度$\nabla g(\mathbf x)$正交于约束曲面。
在最优点$\mathbf x^\ast$，目标函数在该点的梯度$\nabla f(\mathbf x^\ast)$正交于约束曲面。

在最优点$\mathbf x^\ast$梯度$\nabla g(\mathbf x)$和$\nabla f(\mathbf x)$的方向必相同或相反，即存在$\lambda\ne 0$，使得$\nabla f(\mathbf x^\ast)+\lambda\nabla g(\mathbf x^\ast)=0$ 构造拉格朗日函数$L(\mathbf x,\lambda)=f(\mathbf x)+\lambda g(\mathbf x)$

$\nabla_\mathbf xL(\mathbf x,\lambda)=0 \Rightarrow \nabla f(\mathbf x^\ast)+\lambda\nabla g(\mathbf x^\ast)=0$
$\nabla_\lambda L(\mathbf x,\lambda)=0 \Rightarrow g(\mathbf x)=0$

不等式约束

$$ \min_\mathbf x f(\mathbf x)\qquad\text{s.t.}\quad g(\mathbf x)\le0, $$

最优点在不等式约束的区域内时，等价于无约束问题。最优点在不等式约束边界上时，等价于等式约束问题。

对于情况一，最优点在$g(\mathbf x)<0$区域内，令$\nabla f(\mathbf x)=0$求解。即$\nabla_\mathbf xL(\mathbf x, 0)=0$。
对于情况二，最优解在$g(\mathbf x)=0$上，即存在$\nabla f(\mathbf x^\ast)+\lambda\nabla g(\mathbf x^\ast)=0$。注意到若两个梯度方向相同，则还可再优化，$\mathbf x$不是最优解。因此，需要取两个梯度方向相反，即$\lambda > 0$。

结合上述两种情况，二者都满足$\lambda g(\mathbf x)=0$。因此，原优化问题可以转化成在KKT（Karush-Kuhn-Tucker）条件下的最小化拉格朗日函数

$$ L(\mathbf x,\lambda)=f(\mathbf x)+\lambda g(\mathbf x) \qquad\text{s.t.}\quad \left\{\begin{align*} g(\mathbf x)\le0\\ \lambda\ge0\\ \lambda g(\mathbf x)=0 \end{align*}\right.. $$

马轶荀. 优化-拉格朗日乘子法[EB/OL], (2020-07-03). https://zhuanlan.zhihu.com/p/154517678 ↩︎

最优化 on Detail's Blog

拉格朗日乘子法

基本概念

问题求解

等式约束

不等式约束