SVM学习笔记

原文

www.blogjava.net/zhenandaci/… blog.csdn.net/a738779675/… blog.csdn.net/v_july_v/ar… #内容 ##定义 1.分类超平面：

$w^Tx+b=0$,令$g(x)=w^Tx+b$，$w$、$x$通通都是向量，$b$为一个数。

2.样本点、点：

$D_i=(x_i,y_i)$

说明：$x_i$为向量，$y_i$为类别标记，二元的线性分类中，标记只有两个值，+1(正类)和-1(负类)，

3.样本点与超平面关系：

$w^Tx_i+b>0$表示按照超平面分，$x_i$属于正类；反之$y_i$属于负类。

在样本完全可分的条件下，存在超平面使得$y_i(w^Tx_i+b)$总是大于0，$y_i(w^Tx_i+b)>0恒成立，等于0拒绝判断$。

4.间隔：

对于样本点$D_i=(x_i,y_i)$,$δ_i=|g(x)|=y_i(w^Tx_i+b)$

5.几何间隔：

对于样本点$D_i=(x_i,y_i)$，$δ'_i=\frac{1}{||w||}|g(x)|$，即点到面距离。

6.支撑向量、支撑点：离分类超平面最近的样本点。 ##SVM优化目标

1.口语化： 支撑点确定的条件下，最大化几何间隔,即离分类超平面最近的样本与分类超平面的距离尽量远。

假设离分割线最近的样本(支撑向量、支撑点)为$(x_k,y_k)$，过支撑点的且与分类超平面平行的面为 $y_k(w^Tx_k+b)=K$，不存在比$(x_k,y_k)$距离， 超平面$w^Tx+b=0$更近的点，即$y_i(w^Tx_i+b)<K$不成立。

2.形式化表述:

设支撑点为$(x_k,y_k)$。

优化目标为：

解释：之所以加上约束条件，是因为没有比$(x_k,y_k)$这个支撑点距离超平面$w^Tx+b=0$更近的点了。

有的地方写: $max_{w,b}\{\frac{y_k(w^Tx_k+b)}{||w||}min_k[y_i(w^Tx_i+b)]\}$ 这是一样的,这把支撑点的寻找也算进去了。

3.化简变换

令

将其带入(1)得:

这是把所谓的间隔$δ_i=|g(x)|=y_i(w^Tx_i+b)$固定为1的推导?

去掉'得:

至此得出(2)为我们熟悉的SVM优化目标.

疑问：支撑点如何确定？

SVM求解

运用拉格朗日乘子法，定义拉格朗日函数如下：

若$(x_i,y_i)$是支撑向量,则$\sum_{i=1}^{n}{α_i(y_i(w^Tx_i+b)−1)}$为0，因为支撑向量的间隔为1。 目标：(1)既要对对乘子$α$最大化$L$,$max_{α}L(w,b,α)$ (2)又要对参数$(w,b)$最小化$L$（解SVM要求）,$min_{w,b}L(w,b,α)$。(1)(2)是有顺序的

结合一下得：

为什么$α_i\geq 0$？，若$α_i<0$，$\sum_{i=1}^{n}{α_i(y_i(w^Tx_i+b)−1)}$恒小于0，求$max_{α}L(w,b,α)$，α尽量小就行了，$max_{α}L(w,b,α)$无穷大，求个毛的最大值。 一正($\frac{1}{2}||w||^2\geq 0)$一负($\sum_{i=1}^{n}{α_i(y_i(w^Tx_i+b)−1)}\leq0$)才好求极值。

在$min_{w,b}\{max_{α}L(w,b,α)\}$中需要先求$max_{α}L(w,b,α)$，再求$min_{w,b}L(w,b,α)$。由于$α$是有约束的，无法先求$max_{α}L(w,b,α)$。能不能先求$min_{w,b}L(w,b,α)$再求$max_{α}L(w,b,α)$？

即把$min_{w,b}\{max_{α}L(w,b,α)\}$变为 $max_{α}\{min_{w,b}L(w,b,α)\}$？即变成先求$min_{w,b}L(w,b,α)$，再求$max_{α}L(w,b,α)$。

答案是可以的。

证明如下： 任取$α'$，显然有$max_αL(w,b,α)≥L(w,b,α')$，因此，有： $min_{w,b}max_αL(w,b,α)≥min_{w,b}L(w,b,α′)\ (3)$ 又因为$α'$是任取的，也就是说： $min_{w,b}max_αL(w,b,α)≥max_{α'}min_{w,b}L(w,b,α')\ (4)$ $α'$是任取的，当然也可以去掉那一撇。(3)转化为(4)的口语化表达是：a大于等于任意的b,则a大于等于b的最大值，$max_αL(w,b,α)$是a,$min_{w,b}L(w,b,α′)$为任意的b,$max_a'min_{w,b}L(w,b,α′)$为b的最大值。 以上过程对应弱对偶性，即对偶问题（不等式右边）是原问题（不等式左边）的下界。

事实上(3)中左边和右边满足强对偶性，$min_{w,b}max_{α}L(w,b,α)=max_{α}min_{w,b}L(w,b,α)$。

若原始问题(对偶问题)有一个确定的最优解，那么对偶问题(原始问题)也有一个确定的最优解，而且这两个最优解所对应的目标函数值相等，这就是强对偶性

证明如下：

优化目标变为：

此时，先求里层的$min_{w,b}L(w,b,α)$，只需让$L(w,b,α)$分别对$w$，$b$求偏导，再令其为0就可以。

将(5)(6)带入格朗日函数L得：

$<\ •\ >$表示内积。

推导过程如下：

将(5)，(6)带入

将(5)带入

此时优化目标变为：

这个式子可以通过SMO等算法进行求解$α$。

求出$α$后，根据

$w=\sum_{i=1}^{n}{α_iy_ix_i} \ (7)$

$b=-\frac{max_{i:y_i=-1}w^Tx_i+min_{i:y_i=1}w^Tx_i}{2} \ (8)$

求出$w$、$b$。

(8)的意思是，分别找出正类的支撑向量($min_{i:y_i=1}$)与负类的支撑向量$max_{i:y_i=-1}$,求出各自的$b$,然后求平均。

对于正类支撑向量$x_m$,过$x_m$且与分类超平面平行的平面$H_1$为$w^Tx_m+b_m=0$,$b_m=-w^Tx_m$ 对于正类支撑向量$x_n$,过$x_n$且与分类超平面平行的平面$H_2$为$w^Tx_n+b_n=0$,$b_n=-w^Tx_n$ 超平面正好夹在$H_1$、$H_2$中间，$b=-\frac{b_m+b_n}{2}$

上述公式其实是一般的求法，包括了线性可分与线性不可分的情况，