一、原问题和对偶问题
1 原问题定义
2 该原问题对应的对偶问题
3 对偶问题定义
4 得出定理
定理一:
证明:
原问题的解f(ω*)总是大于等于对偶问题的解θ(α*,β*)。
我们把f(ω*)-θ(α*,β*)称为对偶差距(Duality Gap)。
5 强对偶定理
如果原问题的目标函数是凸函数,限制条件是线性函数,则有:f(ω*) = θ(α*,β*),即对偶差距等于零。
6 KKT条件
若f(ω*) = θ(α*,β*),则有定理一中必然能够推出,对于所有的i = 1~K,要么αi=0,要么gi(ω*)=0。这个条件称为KKT条件。
二、转化为对偶问题
2 映射后的支持向量机的优化问题:
2 原问题:
在原问题的描述中,gi(ω)≤0,而前面支持向量机的限制条件中是两个≥,所以首先需要将前面两个不等式都改成
"≤0"的形式