【机器学习】05_支持向量机_拉格朗日对偶法拉格朗日对偶法（Lagrange Dual Method）示例问题：二维线

拉格朗日对偶法（Lagrange Dual Method）

示例问题：二维线性可分 SVM

假设我们只有两个样本点，特征空间为 $\mathbb{R}^2$ ：

正例 ( $y_1 = +1$ )： $x_1 = (3, 3)^T$ 1
负例 ( $y_2 = -1$ )： $x_2 = (1, 1)^T$ 2 我们的目标是找到一个硬间隔最大化分离超平面 $w \cdot x + b = 0$

根据课件，原始目标是最小化 $\frac{1}{2}||w||^2$ 4：

$min_{w,b} \frac{1}{2}(w_1^2 + w_2^2)$ 约束条件 ( $y_i(w \cdot x_i + b) \ge 1$ )

为了得到对偶问题的表达形式，我们先对 $w$ 和 $b$ 求偏导并令其为 0 8：

$\frac{\partial L}{\partial w} = 0 \Rightarrow w = \alpha_1 x_1 y_1 + \alpha_2 x_2 y_2$ 9999
- $w_1 = 3\alpha_1 - \alpha_2$
- $w_2 = 3\alpha_1 - \alpha_2$
$\frac{\partial L}{\partial b} = 0 \Rightarrow \alpha_1 y_1 + \alpha_2 y_2 = 0 \Rightarrow \alpha_1 - \alpha_2 = 0 \Rightarrow \alpha_1 = \alpha_2$ 将上述关系代入 $L$ ，得到只包含 $\alpha$ 的对偶目标函数 $W(\alpha)$ $max_{\alpha} \alpha_1 + \alpha_2 - \frac{1}{2} \sum_{i=1}^{2} \sum_{j=1}^{2} \alpha_i \alpha_j y_i y_j (x_i \cdot x_j)$ 计算内积： $x_1 \cdot x_1 = 18, x_2 \cdot x_2 = 2, x_1 \cdot x_2 = 6$ 。代入 $\alpha_1 = \alpha_2 = \alpha$ ： $W(\alpha) = 2\alpha - \frac{1}{2} [\alpha^2(18) + \alpha^2(2) - 2\alpha^2(6)] = 2\alpha - 4\alpha^2$ 对 $\alpha$ 求极值： $\frac{dW}{d\alpha} = 2 - 8\alpha = 0 \Rightarrow \alpha = 0.25$ 。所以： $\alpha_1^* = 0.25, \alpha_2^* = 0.25$ 13。

求解 $w^*$ $w^* = \alpha_1 y_1 x_1 + \alpha_2 y_2 x_2 = 0.25(1)\begin{pmatrix} 3 \\ 3 \end{pmatrix} + 0.25(-1)\begin{pmatrix} 1 \\ 1 \end{pmatrix} = \begin{pmatrix} 0.5 \\ 0.5 \end{pmatrix}$
求解 $b^*$ （使用支持向量 $x_1$ ， $y_1(w \cdot x_1 + b) = 1$ ）15151515： $1(0.5 \times 3 + 0.5 \times 3 + b) = 1 \Rightarrow 3 + b = 1 \Rightarrow b^* = -2$

分离超平面： $0.5x_1 + 0.5x_2 - 2 = 0$ 16
决策函数： $f(x) = sign(0.5x_1 + 0.5x_2 - 2)$ 17
物理意义：这两个点都是支持向量（因为 $\alpha^* > 0$ ）18181818。超平面正好位于 $(3,3)$ 和 $(1,1)$ 连线的中垂线上。

通过这个例子你可以看到： 我们根本没有直接去解复杂的 $w$ 方程组，而是通过解简单的 $\alpha$ 得到了最终结果。这就是对偶法的魅力。