详解支持向量机-约束优化问题-弱对偶性证明【白板推导系列笔记】

持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第13天，点击查看活动详情

简单来说，引入拉格朗日乘子是为了强制要求所有的约束条件必须被满足，当$x$违反约束条件时，$L(x,\alpha,\beta) \rightarrow  +\infty$， 当$x$满足约束条件时，$L(x,\alpha,\beta) = f(x)$。

 

假设$f(x)，c_i(x)，h_j(x)$是定义在$R^n$上的连续可微函数。考虑约束最优化问题（极大化问题可以简单地转换为极小化问题，这里仅讨论极小化问题）：

$\begin{aligned} \min_{x \in R^n} \hspace{1em} & f(x)\\ s.t. \hspace{1em} & m_i(x) \le 0, \hspace{1em} i=1,2,\cdots,k\\ & n_j(x) = 0, \hspace{1em} j=1,2,\cdots,l \end{aligned}$

引入拉格朗日乘子后，得到拉格朗日函数

$L(x,\alpha,\beta) = f(x) + \sum_{i=1}^k \alpha_i c_i (x) + \sum_{j=1}^l \beta_j h_j (x)$

如果$x$违反$m_{i}(x)$约束，即$m_{i}(x)>0$，那么$\mathop{\text{max }}\limits_{\lambda}L \to  +\infty$

如果$x$符合$m_{i}(x)$约束，即$m_{i}(x)\leq 0$，那么$\mathop{\text{max }}\limits_{\lambda}L \ne +\infty$

因此有

如果$x$违反$n_{j}(x)$约束，即$n_{j}(x)\ne 0$，那么$\mathop{\text{max }}\limits_{\beta}L \to +\infty$

如果$x$符合$n_{j}(x)$约束，即$n_{j}(x)=0$，那么$\mathop{\text{max }}\limits_{\beta}L \ne +\infty$

因此有

 

所谓弱对偶性，指的是对偶问题$\leq$原问题，即：

$\min \max f \geq \max \min f$

对于$L(x,\lambda,\eta )$这个函数，我们知道下面这个不等式一定成立

中间$L(x,\lambda,\eta )$我们可以理解为$L$的值域，值域里面的任何一个数，必然是大于等于它对$x$的最小值，小于等于它对$\lambda,\eta$的最大值。

令

因此有

 因此

 

后面还有对偶关系之几何解释、对偶关系之slater condition、对偶关系之KKT条件，以后会补上的