如何理解SVM损失函数

对于线性支持向量机学习来说，其模型为分离超平面支持向量机W及决策函数支持向量机,其学习策略为软间隔最大化，学习算法为凸二次规划。线性支持向量机学习还有另外一种解释，就是最小化以下目标函数。

合页损失函数

线性支持向量机还有另外一种解释，就是最小化以下目标函数（svm的损失函数）：

目标函数第一项为经验损失或经验风险，函数：

称为合页损失函数，下标“+” “+”“+”表示取正值。

在学习支持向量机的过程中，因为其损失函数的形状像一个合页，故命名合页损失函数。

下图为合页损失函数的图像：

横轴表示函数间隔，我们从两个方面来理解函数间隔：

• 正负

当样本被正确分类时，y(wx+b)>0 ；当样本被错误分类时，y(wx+b)<0 。

• 大小

y(wx+b) 的绝对值代表样本距离决策边界的远近程度。y(wx+b)的绝对值越大，表示样本距离决策边界越远。

因此，我们可以知道：

当y(wx+b)>0 时，y(wx+b) 的绝对值越大表示决策边界对样本的区分度越好

当y(wx+b)<0 时，y(wx+b)的绝对值越大表示决策边界对样本的区分度越差

从图中我们可以看到，

0-1损失

当样本被正确分类时，损失为0；当样本被错误分类时，损失为1。

感知机损失函数

当样本被正确分类时，损失为0；当样本被错误分类时，损失为−y(wx+b)。

合页损失函数

当样本被正确分类且函数间隔大于1时，合页损失才是0，否则损失是1−y(wx+b) 。

相比之下，合页损失函数不仅要正确分类，而且确信度足够高时损失才是0。也就是说，合页损失函数对学习有更高的要求。

SVM的损失函数

SVM的损失函数就是合页损失函数加上正则化项：