拉格朗日对偶

定义

对于标准形式的优化问题

注意不要求$f_0(x)$是凸的。其拉格朗日函数为：
$g(\lambda, v) = \inf_x L(x, \lambda, v)=f_0(x) + \sum_i \lambda_i f_i(x)+\sum_i v_i h_i(x)$
该函数是一系列关于$\lambda, v$的线性函数的逐点最小，因此总是凹函数。

功能：原最优化问题的下界

对任意$\lambda \ge 0$，拉格朗日函数总是小于等于原问题的最优值。 这个其实很显然，对任何一个可行解，注意到他满足等式条件，所以
$g(\lambda, v) \le L(x, \lambda, v)=f_0(x) + \sum_i \lambda_i f_i(x)+\sum_i v_i h_i(x)=f_0(x) + \sum_i \lambda_i f_i(x)$
而如果$\lambda \ge 0$，那么总是在增加一个负项，所以$g\le f_0(x)$

和共轭函数的关系

回顾共轭函数：$f^*(y)=\sup_x\{y^Tx-f(x)\}$，注意到$\inf(f(x))=-\sup(-f(x))$
所以对于一个约束条件是affine的优化问题：

它的拉格朗日函数为:

最后一行把那个括号里面看成$y$，就有

定义域也可以得到，即使得$-A^T\lambda-C^Tv$落在$dom f$里的取值。

案例

对于问题

这里虽然约束条件不是严格的矩阵形式，但是按照trace技巧可以表述为$tr((a_ia^T)X)\le 1$
然后设$\log\det X^{-1}$的共轭函数为$f^*(Y)$（这个书上有求法），那么拉格朗日函数为$f(-tr(\lambda [a_ia_i^T]))-1^T\lambda=f(-\sum_i \lambda_i a_ia_i^T))-1^T\lambda$
这个地方很奇怪，因为感觉求trace了似乎和定理形式不完全一样，但是trace操作带入到定理推导过程会发现没有影响。

对偶问题

对于问题

其拉格朗日函数为$g(\lambda, v)=\inf_x\{c^Tx+\lambda^T(Ax-b)+v^T(Cx-d)\}=-b^T\lambda-d^Tv+\inf_x\{(A^T\lambda+c+C^Tv)^Tx\}$
只有当x前面的系数$A^T\lambda+c+C^Tv=0$，才有确定的下界$-b^T\lambda-d^Tv$。因此，我们如果想找到最紧的下界，就是要求

这是一个线性规划问题，也就是说，经过对偶得到了一个新的凸优化问题，但代价是求出来的只是一个下界而不是最优值。

弱对偶性：设对偶问题的界为$d^*$，原问题最优解为$p^*$，那么有$d^*\le p^*$，即使原问题不凸，也成立

最优对偶间隙：$p^*-d^*$

强对偶性：在某些情况下$p^*=d^*$，什么时候可以达到呢？ 一个判定准则为slater准则：当一个问题是凸问题，并且所有的约束条件都存在内点$x, s.t. f_i(x)<0, Ax=b$
松弛一些的slater准则是，仿设的约束不需要严格成立，只需要$\le 0$。

几何解释

书上关于对偶给出了很多解释，这里只介绍最直观的几何解释，构造几何$(a, b, t)\in G$,其中a、b、t分别是优化问题的不等限制、等于限制、优化目标的取值。
那么最优解$p^*=\inf\{t|(a,b,t)\in G, a\le 0, b=0\}$。
而对偶函数$L(\lambda,v,x)$恰好等于$(\lambda, v, 1)^T(a, b, t)$，所以$g(\lambda, v)\le (\lambda, v, 1)^T(a, b, t)$。
从超平面的视角看，这相当于拉格朗日函数的取值就是可行域和目标函数取值构成的空间上的一个支撑。通过不断调整$\lambda, v$,支撑在变，取值也在变。

比如考虑只有一个不等约束的优化问题，u是不等约束的取值，那么拉格朗日函数就是$t+\lambda u$，这个函数在$u,t$的空间（注意不是$\lambda$）中是一条直线，也是$G$集合的支撑，随着$\lambda$取值改变，支撑随之改变，$d$也跟着变。

下界怎么用

次优认证

假设我们求得了一个解$f(x_0)$，那么这个解的优度可以表示成$f(x_0)-p^*$，问题是我们并不知道$p^*$是多少，知道了还求啥。所以可以用下界$g(\lambda^*, v^*)$来代替，因此$f(x_0)-p^*\le f(x_0)-g(\lambda^*, v^*)$，这可以作为启发式的停止准则。

互补松弛条件

假设强对偶型成立，那么有

这里第三行别因为取最优解陷进去，上一行inf可以保证小于等于永远成立。抢对偶成立的时候，下面两个不等号都是取等号的。所以说明最优值取得时，可以得到互补的两个条件：

• $\lambda_i > 0 \Rightarrow f_i(x^*)=0$
• $f_i(x^*)<0 \Rightarrow \lambda_i =0$

KKT条件

假设原问题的目标函数和约束都可微，但不假设一定是凸优化问题。当强对偶性成立时，$g(\lambda^*, v^*)=f_0(x^*)$，因此可以得到$L(x, \lambda^*, v^*)$在$x^*$处取的最小值。所以$\nabla L$在$x^*$处为0，配合可行性等要求，可以得到一系列等式和不等式

也就是说，强对偶性成立时，任何最优解都得满足KKT条件。如果原问题是凸问题，那么倒过来也成立，即满足KKT条件的点也是原问题和对偶问题的最优解。

灵敏度分析

所谓灵敏度，就是对原始问题的约束条件作适当的变化，然后看新的最优解如何变化。如果约束$f_i(x)\le 0$变成了$f_i(x)\le a_i$，而$h_i(x)=0$变成了$h_i(x)=b_i$，那么最优解的变化可以看作是关于$a_i, b_i$的函数，因此有$p(a, b)$，而且$p(0, 0)=p^*$。

分析灵敏度可以使用全局不等式。在原问题为凸且强对偶性成立时，设$\lambda^*, v^*$是未被扰动问题的对偶问题的最优解，那么对任意$a, b$，有

证明
$p(0, 0)=p^*=g(\lambda^*, v^*)\le f_0(x)+\lambda^*f(x)+v^*h(x)$
因为$\lambda \ge 0$，而$f(x)\le a$，因此有$p(0, 0)=g(\lambda^*, v^*)\le f_0(x)+\lambda^*f(x)+v^*h(x) \le f_0(x)+\lambda^*a+v^*b$
所以对任意的可行解$x$, 都有$f_0(x) \ge p(0, 0) - \lambda^*a-v^*b$，所以对于$p(a,b)$也成立。

灵敏度解释

• $\lambda^*$很大，加强约束会导致最优值大幅变差。因为lambda大说明更加灵敏，稍微加强一下就会很影响最优值。
• $v^*$较大，选择与之异号的松弛变量，会导致大幅变差。因为这会极大增加不等式的右侧。
• $\lambda, v$较小的时候法改变不会有太大影响。

注意全局不等式只给出了下界，所以结论不对称。

另外一个结论是，如果$p(a,b)$可微，那么$\lambda_i = -\frac{\partial p(0,0)}{\partial a}, v_i=-\frac{\partial p(0,0)}{\partial b}$

不等式的系统的可行性：择一定理

弱择一

现在只考虑约束条件构成的不等式系统：$f_i(x)\le 0, h_i(x)=0$。这个系统是否存在可行域？

一个方法是转化成优化问题，即：

这样，如果问题的解$p^*=0$说明可行，否则$p^*=\infty$说明不可行。因此求解一个不等式系统的可行性和求最优化问题等价。那么可以用对偶方法分析。

建立拉格朗日对偶函数$g(\lambda, v)=\inf_x\{\lambda f(x) + vh(x)\}$。

所以对偶问题是在$\lambda \ge 0$的情况下最大化$g$。所以如果你没有办法把$f(x)$或者$h(x)$搞成0，我只要让$\lambda$或者$v$尽量大就可以达到无穷大。因此，该优化问题的最优值$d^*$有两种情况：

• 如果$\lambda\ge 0, g(\lambda, v)>0$是可行的，那么利用其次性，$\lambda$和$v$等比例放大就可以达到无穷大
• 如果$\lambda \ge 0, g(\lambda, v)>0$不可行，那么最好情况也只能让$\lambda=v=0$，此时$d^*=0$。

如果$d^*$可以达到无穷大了，那么根据弱对偶性$p^*\ge d^*>0$，原问题的不等式系统不可行。所以任何一个对偶不等式系统的可行解都证明了原不等式系统的不可行。 反之，如果原不等式系统可行，那么可以$f(x)\le0$且$h(x)=0$，在$\lambda\ge 0$的情况下，$g(\lambda, v)\le 0$，这说明$\lambda \ge 0, g(\lambda, v)>0$不可行。

因此，弱择一定理说明：原不等式系统和$\lambda\ge 0, g(\lambda, v)>0$两个系统，至多有一个可行。

对于严格不等式系统：$f_i(x)< 0, h_i(x)=0$，可以直接发现它和如下不等式系统是弱择一的

强择一

加强不等式系统的条件，使他是个凸系统，即$f$是凸函数，$h$是affine，那么择一定理可以加强为恰好有一个成立。