支持向量机:

靠近决策平边界的点(正负样本)与决策边界的距离最大时,是最好的分类选择。决定决策边界的样本点叫做支持向量,它决定了与决策边界的距离到底是多少,而与决策边界的距离更远的点,其实有没有无所谓。
距离的计算:

分离超平面方程和法向量:
blog.csdn.net/Jiajing_Guo…
数据标签的定义:
优化的目标
目标函数

里面的min求的是离决策边界最近的样本点是哪个,外面的max是求什么样的w和b能使这个样本离决策边界最远。

求1/w的最大值就是求w的最小值。求w的最小值和求w平方的最小值是一样的。对w平方是应为w的模比较碍事,w的模无非就是个正数,所以对其平方。1/2*w^2中加入的1/2是为了方便求解,不影响结果。
拉格朗日乘子法

每一个样本都有一个αi与他对应。
SVM求解
SVM求解实例

决策边界是由边界上的样本点所构成的 αi不为零,非边界的样本点αi必然为零。
αi为零的样本点不是支持向量对结果半点影响都没有,αi不为零的样本点是边界点,这些边界点会对决策边界的构成产出决定性的影响。