机器学习学习笔记03 -- 支持向量机2

186 阅读1分钟

一、原问题和对偶问题

1 原问题定义

40.png

2 该原问题对应的对偶问题

41.png

3 对偶问题定义

42.png

4 得出定理

定理一:
43.png

证明:
44.png

原问题的解f(ω*)总是大于等于对偶问题的解θ(α*,β*)。
我们把f(ω*)-θ(α*,β*)称为对偶差距(Duality Gap)。

5 强对偶定理

45.png
如果原问题的目标函数是凸函数,限制条件是线性函数,则有:f(ω*) = θ(α*,β*),即对偶差距等于零。

6 KKT条件

f(ω*) = θ(α*,β*),则有定理一中必然能够推出,对于所有的i = 1~K,要么αi=0,要么gi(ω*)=0。这个条件称为KKT条件。

二、转化为对偶问题

2 映射后的支持向量机的优化问题:

46.png

2 原问题:

40.png
在原问题的描述中,gi(ω)≤0,而前面支持向量机的限制条件中是两个≥,所以首先需要将前面两个不等式都改成
"≤0"的形式

3 步骤

3.1 首先将:

47.png

3.2 得到:

48.png

49.png

3.3 整理得到:

50.png

3.4 得到对偶问题形式:

51.png

3.5 分别对ω,b和δi求导=0处理:

52.png

3.6 对偶问题:

53.png

4 补充手写笔记

54.jpg

56.jpg

57.jpg

58.jpg

55.jpg