拉格朗日乘法的方法。支持向量机背后的理论（第三部分：在Python中从头开始实现SVM）。

鸣叫 鸣叫 分享 分享

为支持向量机（SVM）分类器提供动力的数学是美丽的。重要的是，不仅要学习SVM的基本模型，还要知道如何从头开始实现整个模型。这是我们关于SVM的系列教程的继续。在这个系列的第一部分和第二部分，我们讨论了线性SVM背后的数学模型。在本教程中，我们将展示如何使用Python的SciPy库所提供的优化例程来构建一个SVM线性分类器。

完成本教程后，你将知道。

• 如何使用 SciPy 的优化例程
• 如何定义目标函数
• 如何定义边界和线性约束
• 如何在Python中实现你自己的SVM分类器

让我们开始吧。

拉格朗日乘法的方法。支持向量机背后的理论（第三部分：在Python中从头开始实现SVM）
Sculpture Gyre by Thomas Sayre, Photo by Mehreen Saeed, some rights reserved.

教程概述

本教程分为两部分；它们是：。

1. SVM的优化问题
2. Python中的优化问题解决方案
   1. 定义目标函数
   2. 定义边界和线性约束
3. 用不同的C值解决该问题

前提条件

在本教程中，我们假定你已经熟悉了以下主题。你可以点击个别链接以获得更多细节。

• 优化/数学编程的简单介绍
• 拉格朗日乘法的简单介绍
• 不等式约束下的拉格朗日乘数法
• 拉格朗日乘数法。支持向量机背后的理论（第1部分：可分离案例）)
• 拉格朗日乘数法。支持向量机背后的理论（第2部分：不可分离的情况

符号和假设

一个基本的SVM机器假设是一个二进制分类问题。假设我们有$m$的训练点，每个点都是一个$n$的维向量。我们将使用以下符号。

• $m$:训练点总数
• $n$:每个训练点的维度
• $x$:数据点，是一个$n$维度的向量
• $i$:用来索引训练点的下标。$0 /leq i < m$
• $k$:用来索引训练点的下标。$0\\leq k < m$
• $j$:用来索引训练点的每个维度的下标
• $t$:一个数据点的标签。它是一个$m$维的向量，$t\_i\\in\\{-1, +1\\}$
• $T$:转置运算符
• $w$:表示超平面系数的权重向量。它也是一个$n$维的向量
• $alpha$。拉格朗日乘数的矢量，也是一个$m$维的矢量
• $C$:用户定义的惩罚因子/规范化常数

SVM的优化问题

SVM分类器最大化以下拉格朗日对偶：

上述函数受制于以下约束。

\begin{eqnarray}
0 \leq \alpha_i \leq C, & \forall i\
\sum_i \alpha_i t_i = 0& \
end{eqnarray} 。

我们所要做的就是找到与每个训练点相关的拉格朗日乘数$alpha$，同时满足上述约束。

SVM的Python实现

我们将使用SciPy优化包来找到拉格朗日乘数的最优值，并计算软边际和分离超平面。

导入部分和常量

我们来写一下优化、绘图和合成数据生成的导入部分。

import numpy as np    
# For optimization
from scipy.optimize import Bounds, BFGS                     
from scipy.optimize import LinearConstraint, minimize   
# For plotting
import matplotlib.pyplot as plt
import seaborn as sns
# For generating dataset
import sklearn.datasets as dt

我们还需要以下常数来检测所有数值接近零的字母，所以我们需要定义我们自己的零的阈值。

ZERO = 1e-7

定义数据点和标签

让我们定义一个非常简单的数据集，相应的标签和一个简单的程序来绘制这个数据。可以选择的是，如果给绘图函数一串字母，那么它也会给所有支持向量贴上相应的字母值。请记住，支持向量是那些$alpha>0$的点。

dat = np.array([[0, 3], [-1, 0], [1, 2], [2, 1], [3,3], [0, 0], [-1, -1], [-3, 1], [3, 1]])
labels = np.array([1, 1, 1, 1, 1, -1, -1, -1, -1])


def plot_x(x, t, alpha=[], C=0):
    sns.scatterplot(dat[:,0], dat[:, 1], style=labels,
    hue=labels, markers=['s', 'P'],
    palette=['magenta', 'green'])
    if len(alpha) > 0:
        alpha_str = np.char.mod('%.1f', np.round(alpha, 1))
        ind_sv = np.where(alpha > ZERO)[0]
        for i in ind_sv:   
            plt.gca().text(dat[i,0], dat[i, 1]-.25, alpha_str[i] )

                  
plot_x(dat, labels)

minimize() 函数

让我们看一下scipy.optimize 库中的minimize() 函数。它需要以下参数。

• 要最小化的目标函数。在我们的例子中是拉格朗日对偶。
• 最小化所涉及的变量的初始值。在这个问题中，我们必须确定拉格朗日乘数$alpha$。我们将随机地初始化所有$alpha$。
• 用来进行优化的方法。我们将使用trust-constr 。
• 对$alpha$的线性约束。
• $alpha$的界限。

定义目标函数

我们的目标函数是上面定义的$L\_d$，它必须被最大化。由于我们使用的是minimize() ，我们必须用$L\_d$乘以(-1)来最大化它。其实现方法如下。目标函数的第一个参数是进行优化的变量。我们还需要训练点和相应的标签作为附加参数。

你可以通过使用矩阵来缩短下面给出的lagrange_dual() 函数的代码。然而，在本教程中，为了使一切都清晰明了，它保持得非常简单。

# Objective function
def lagrange_dual(alpha, x, t):
    result = 0
    ind_sv = np.where(alpha > ZERO)[0]
    for i in ind_sv:
        for k in ind_sv:
            result = result + alpha[i]*alpha[k]*t[i]*t[k]*np.dot(x[i, :], x[k, :]) 
    result = 0.5*result - sum(alpha)     
    return result

定义线性约束

每个点的阿尔法的线性约束由以下方式给出。

$
\sum_i \alpha_i t_i = 0

\alpha_0 t_0 + \alpha_1 t_1 + \ldots \alpha_m t_m = 0

w^T x + w_0 = 0

w = \sum_i \alpha_i t_i x_i

一个支持向量的α不可能在数值上完全等于C。因此，我们可以从C中减去一个小常数，以找到所有支持向量的$alpha\_s < C$。这是在get_w0() 函数中完成的。

def get_w(alpha, t, x):
    m = len(x)
    # Get all support vectors
    w = np.zeros(x.shape[1])
    for i in range(m):
        w = w + alpha[i]*t[i]*x[i, :]        
    return w

def get_w0(alpha, t, x, w, C):
    C_numeric = C-ZERO
    # Indices of support vectors with alpha<C
    ind_sv = np.where((alpha > ZERO)&(alpha < C_numeric))[0]
    w0 = 0.0
    for s in ind_sv:
        w0 = w0 + t[s] - np.dot(x[s, :], w)
    # Take the average    
    w0 = w0 / len(ind_sv)
    return w0

对测试点进行分类

为了对测试点$x\_{test}$进行分类，我们使用$y(x\_{test})$的符号作为。

$
\text{label}_{x_{test}} = \text{sign}(y(x_{test})) = \text{sign}(w^T x_{test} + w_0)