支持向量机随记

365 阅读1分钟

支持向量机:

靠近决策平边界的点(正负样本)与决策边界的距离最大时,是最好的分类选择。决定决策边界的样本点叫做支持向量,它决定了与决策边界的距离到底是多少,而与决策边界的距离更远的点,其实有没有无所谓。

距离的计算:

分离超平面方程和法向量:blog.csdn.net/Jiajing_Guo…

数据标签的定义:

优化的目标

目标函数

里面的min求的是离决策边界最近的样本点是哪个,外面的max是求什么样的w和b能使这个样本离决策边界最远。
求1/w的最大值就是求w的最小值。求w的最小值和求w平方的最小值是一样的。对w平方是应为w的模比较碍事,w的模无非就是个正数,所以对其平方。1/2*w^2中加入的1/2是为了方便求解,不影响结果。

拉格朗日乘子法

每一个样本都有一个αi与他对应。

SVM求解

SVM求解实例

决策边界是由边界上的样本点所构成的 αi不为零,非边界的样本点αi必然为零。 αi为零的样本点不是支持向量对结果半点影响都没有,αi不为零的样本点是边界点,这些边界点会对决策边界的构成产出决定性的影响。