1. 拉格朗日乘数法基础回顾
在深入探讨不等式约束之前，让我们先回顾一下拉格朗日乘数法的基本概念。这个方法由18世纪数学家约瑟夫·路易斯·拉格朗日提出，用于求解带有等式约束的优化问题。想象你是一位登山者，想要找到山脉的最高点，但必须沿着一条特定的路径行走——这就是约束优化问题的直观类比。
对于一个典型的等式约束优化问题，数学表达如下： $$ \begin{aligned} \min & \quad f(x) \ \text{s.t.} & \quad g(x) = 0 \end{aligned} $$
拉格朗日乘数法的核心思想是将约束条件融入目标函数，构造拉格朗日函数： $$ L(x, \lambda) = f(x) - \lambda g(x) $$
这里λ就是拉格朗日乘子，它代表了约束条件对最优解的影响程度。在实际应用中，我们会同时求解∂L/∂x=0和∂L/∂λ=0这两个方程来找到极值点。
关键提示：拉格朗日乘子λ的符号很重要。在标准形式中，我们使用减号(-λg(x))，这意味着λ为正时表示约束g(x)=0限制了目标函数f(x)的减小。
2. 不等式约束的挑战与处理
当约束条件从等式变为不等式时，问题变得更加复杂。考虑以下形式的优化问题： $$ \begin{aligned} \min & \quad f(x) \ \text{s.t.} & \quad h(x) \geq 0 \end{aligned} $$
这类问题在实际中极为常见，比如投资组合优化中资金分配的约束，或者工程设计中物理限制的约束。处理不等式约束的关键在于理解它们何时会"激活"成为等式约束。
2.1 松弛变量引入法
一个有效的处理技巧是引入松弛变量将不等式转化为等式。对于约束h(x)≥0，我们可以添加一个平方项： $$ h(x) - s^2 = 0 $$
这里s²就是松弛变量，它确保h(x)始终大于等于零。这种方法的美妙之处在于：
- 当h(x)>0时，s²取适当正值
- 当h(x)=0时，s²=0
- 自动排除了h(x)<0的情况
对应的拉格朗日函数变为： $$ L(x, λ, s) = f(x) - λ(h(x) - s^2) $$
2.2 互补松弛条件
这是处理不等式约束最核心的概念，它告诉我们：在最优解x处，对于每个不等式约束，要么乘子λ为零，要么约束条件正好取等号（即约束是"活跃"的）。数学表达为： $$ λ \cdot h(x^) = 0 $$
这个条件在实际求解中极为有用，因为它允许我们分情况讨论：
- 如果λ=0，意味着该约束不影响最优解
- 如果h(x*)=0，意味着该约束在最优解处是紧的
3. KKT条件：不等式约束的完整解决方案
Karush-Kuhn-Tucker(KKT)条件是拉格朗日乘数法在不等式约束下的推广，它提供了最优解必须满足的一组必要条件。对于一般形式的优化问题： $$ \begin{aligned} \min & \quad f(x) \ \text{s.t.} & \quad g_i(x) = 0, \quad i=1,...,m \ & \quad h_j(x) \geq 0, \quad j=1,...,n \end{aligned} $$
KKT条件包括：
- 平稳性：∇f(x) - Σλ_i∇g_i(x) - Σμ_j∇h_j(x) = 0
- 原始可行性：g_i(x)=0, h_j(x)≥0
- 对偶可行性：μ_j ≥ 0
- 互补松弛性：μ_j h_j(x) = 0
重要注意事项：KKT条件只是必要条件，对于凸优化问题它们也是充分条件。在非凸情况下，满足KKT条件的点可能是局部极小值、鞍点甚至局部极大值。
4. 投资组合优化实例详解
让我们通过一个具体的投资组合优化例子来演示这些概念的应用。假设我们有1单位资金要在两种资产间分配，目标是最小化组合风险（方差）。
4.1 问题建模
优化问题表述为： $$ \begin{aligned} \min & \quad w_1^2σ_1^2 + w_2^2σ_2^2 + 2w_1w_2σ_{12} \ \text{s.t.} & \quad w_1 + w_2 = 1 \ & \quad w_1 \geq 0 \ & \quad w_2 \geq 0 \end{aligned} $$
假设σ₁²=0.25，σ₂²=0.10，σ₁₂=0.15。引入松弛变量s和t，拉格朗日函数为： $$ L = 0.25w_1^2 + 0.1w_2^2 + 0.3w_1w_2 - λ(w_1+w_2-1) - θ(w_1-s^2) - φ(w_2-t^2) $$
4.2 分情况求解
根据互补松弛条件，我们需要考虑四种情况：
情况1：θ=φ=0（两个不等式约束都不活跃） 解得w₁=-1，w₂=2，但s²=-1无效，舍去。
情况2：θ≠0, φ=0（第一个约束活跃，w₁=0） 解得w₁=0，w₂=1，λ=0.2，θ=0.1，目标值=0.10
情况3：θ=0, φ≠0（第二个约束活跃，w₂=0） 解得w₁=1，w₂=0，λ=0.3，φ=0.2，目标值=0.25
情况4：θ≠0, φ≠0（两个约束都活跃，w₁=w₂=0） 与资金分配约束矛盾，舍去。
比较可行解，最优选择是情况2：全部投资于资产2。
4.3 协方差符号的影响
有趣的是，如果我们改变协方差符号（设σ₁₂=-0.15），结果会完全不同。此时内部解（w₁=5/13≈0.385）成为最优，目标值降至0.0038，远优于边界解。这说明资产间的负相关性可以显著降低组合风险。
5. 注水算法：通信工程中的应用
另一个经典例子是通信中的功率分配问题，称为"注水算法"。我们有多个信道需要分配有限功率，目标是最大化总容量。
5.1 问题建模
假设有3个信道，噪声水平分别为1.0,0.9,1.0，信道增益为0.9,0.8,0.7。优化问题为： $$ \begin{aligned} \max & \quad \sum_{i=1}^3 \log(1+g_i p_i/n_i) \ \text{s.t.} & \quad p_1+p_2+p_3=1 \ & \quad p_i \geq 0 \end{aligned} $$
对应的拉格朗日函数： $$ L = \sum \log(n_i+g_i p_i) - λ(\sum p_i -1) - \sum θ_i p_i $$
5.2 求解过程
通过KKT条件，我们得到一系列方程。最有趣的是当所有p_i>0时（所有θ_i=0），有： $$ \frac{g_1}{n_1+g_1 p_1} = \frac{g_2}{n_2+g_2 p_2} = \frac{g_3}{n_3+g_3 p_3} = λ $$
这就像往不同形状的容器（信道）中注水（功率），水位（边际收益）最终会持平。解得最优分配： p₁≈0.444，p₂≈0.430，p₃≈0.126
6. 实践建议与常见误区
在实际应用中，使用拉格朗日乘数法处理不等式约束时，有几个关键点需要注意：
凸性验证：确保问题是凸的，这样KKT条件才是充分必要的。对于非凸问题，可能需要全局优化技术。
约束规格：检查约束规格条件（如LICQ）是否满足，这对KKT条件的有效性至关重要。
数值稳定性：当处理大量约束时，直接解析求解可能困难，需要考虑数值优化算法。
乘子解释：拉格朗日乘子可以解释为约束的"影子价格"，表示放松约束带来的目标函数改进程度。
常见错误包括：
- 忽略互补松弛条件，导致遗漏可行解
- 错误处理乘子的符号（不等式约束的乘子必须非负）
- 在非凸问题中错误地将KKT点当作全局最优解
7. 现代扩展与应用领域
拉格朗日乘数法在现代优化中有着广泛的应用和发展：
- 机器学习：支持向量机(SVM)的推导核心就是拉格朗日对偶理论
- 经济学：一般均衡理论中的约束优化问题
- 工程控制：最优控制中的Hamiltonian方法
- 深度学习：约束神经网络训练的投影方法
对于更复杂的问题，可以考虑以下扩展：
- 增广拉格朗日法：加入惩罚项改善收敛性
- 原始-对偶方法：同时优化原始变量和对偶变量
- 内点法：通过障碍函数处理不等式约束
在实际编程实现中，Python的SciPy库提供了minimize函数，可以方便地处理各种约束优化问题。对于大规模问题，专业的优化求解器如IPOPT或商业软件如Gurobi可能更合适。
