【学习笔记】基与核的故事 - 4 支持向量机SVM这是我参与11月更文挑战的第6天支持向量机（SVM）是再生希尔伯特空

这是我参与11月更文挑战的第6天

支持向量机（SVM）是再生希尔伯特空间（RKHS）最广为人知的应用之一，假设存在数据对 $(x_i,y_i)^n_{i=1}$ ， $y_i$ 的值为1或-1决定了点 $x_i$ 所属的类别。SVM假设存在一个超平面在对这两个分类进行最优分割。

\min_{\beta,\beta_0}\frac{1}{2}||\beta||^2+C\sum^n_{i=1}\xi_i \\ subject\ to\ \xi_i \geq 0 , y_i(x^T_i\beta+\beta_0)\geq 1 -\xi_i,\forall i

有时候两个分类很难在 $R^n$ 空间中分离，因此需要将 $x_i$ 映射到一个易于将两个分类分离的高维特征空间中（即核方法）。原来的问题转化为：

\min_{\beta,\beta_0}\frac{1}{2}||\beta||^2+C\sum^n_{i=1}\xi_i \\ subject\ to\ \xi_i \geq 0 , y_i(\Phi(x_i)^T\beta+\beta_0)\geq 1 -\xi_i,\forall i

用拉格朗日乘子法求最小值，得到：

L_p=\frac{1}{2}||\beta||^2+C\sum^n_{i=1}\xi_i-\sum^n_{i=1}\alpha_i[ y_i(\Phi(x_i)^T\beta+\beta_0)-(1-\xi_i)]-\sum^n_{i=1}\mu_i\xi_i

求极值，即令 $\frac{\partial L_p}{\partial \beta}=0$ ，得到：

\beta=\sum^n_{i=1}\alpha_iy_i\Phi(x_i)

从上式中可以发现 $\beta$ 可以由多个 $x_i$ 的线性组合来表达，用其替代 $\beta$ 得到新的优化问题，目标函数转变为：

\frac{1}{2}||\sum^n_{i=1}\alpha_iy_i\Phi(x_i)||^2+C\sum^n_{i=1}\xi_i

上述式转化为 $x_i$ 和 $x_j$ 的内积：

\frac{1}{2}<\sum^n_{i=1}\alpha_iy_i\Phi(x_i),\sum^n_{j=1}\alpha_jy_j\Phi(x_j)>+C\sum^n_{i=1}\xi_i \\ =\frac{1}{2}\sum^n_{i=1}\sum^n_{j=1}\alpha_iy_i\alpha_jy_j<\Phi(x_i),\Phi(x_j)>+C\sum^n_{i=1}\xi_i

将函数内积转换成核函数表达：

\frac{1}{2}\sum^n_{i=1}\sum^n_{j=1}\alpha_iy_i\alpha_jy_jK(x_i,x_j)+C\sum^n_{i=1}\xi_i

限制可以改写为：

y_i[\Phi(x_i)^T(\sum^n_{j=1}\alpha_jy_j\Phi(x_j))+\beta_0] \\ = y_i[(\sum^n_{j=1}\alpha_jy_j<\Phi(x_i),\Phi(x_j)>)+\beta_0] \\ =y_i[(\sum^n_{j=1}\alpha_jy_jK(x_i,x_j))+\beta_0] \geq 1-\xi_i,\forall i

现在要做的就是找到一个核函数并求解 $\alpha,\beta_0,\xi_i$ ，并不需要真正地构造一个向量空间，对于一个新的未知分类的数据 $x$ ，可以将其分类使用下面的方法预测（sign：取正负值）：

\hat{y}=sign[\Phi(x)^T\beta+\beta_0] \\ =sign[\Phi(x)^T(\sum^n_{i=1}\alpha_iy_i\Phi(x_i))+\beta_0] \\ =sign(\sum^n_{i=1}\alpha_iy_i<\Phi(x),\Phi(x_i)>+\beta_0) \\ =sign(\sum^n_{i=1}\alpha_iy_iK(x,x_i)+\beta_0)