学习svm时候遇到的问题

95 阅读2分钟

本文已参与「新人创作礼」活动,一起开启掘金创作之路。

这里写目录标题

1. 为什么要转换成对偶问题?

  1. 方便核函数的引入
  2. 改变了问题的复杂度。由求特征向量w转化为求比例系数a,在特征维度比较高的时候会减少计算复杂度,在特征维度低于系数数量的时候通过直接求解原始问题计算量更小
  3. 求解更高效,因为只用求解alpha系数,而alpha系数只有支持向里才非0,其它全部为0。

计算过程:点击跳转

2. svm问题只能通过使用拉格朗日乘子转换成对偶问题求解吗?

答案是不是,svm是针对kkt条件的一个优化算法
提供了两种其他的解决方法:

  1. 使用梯度下降方法(参考李宏毅老师的课 linear svm即可),参考笔记1参考笔记2
  2. 使用QP方法求解,参考文章1参考文章2

3. kkt条件的作用

点击跳转
KKT条件:
简单想就是,最优解无非两种情况
A.落在约束内(不含边界,用α将约束梯度屏蔽掉,此时只要原目标函数梯度为零【因为为凸】即最优解)
B.最优值不落在可行域(不含边界)内,那么一定是落在了某个边界上,用α将不起作用的约束屏蔽掉即可。此时目标函数梯度和边界约束梯度共线,即拉格朗日最优条件。