西瓜书笔记（五）—— 第六章第六章间隔与支持向量分类学习最基本的想法：基于训练集 D 在样本空间中找到一个划分超

第六章

KKT 条件 $\begin{cases} \alpha_i ≥ 0 \\ y_if(x_i) - 1 ≥ 0 \\ \alpha_i(y_if(x_i) - 1) = 0 \end{cases}$
SMO 算法
- 基本思路：先固定 $\alpha_i$ 之外的所有参数，然后求 $\alpha_i$ 上的极值
- SMO 先选取违背 KKT 条件程度最大的变量，第二个变量应选择一个使目标函数值减小最快的变量。所以尽量使选取两个变量，其所对应的样本之间的问隔是最大的。

核函数定理：令 $\chi$ 为输入空间， $\kappa(·,·)$ 是定义在 $\chi \ \times \ \chi$ 上的对称函数，则 $\kappa$ 是核函数当且仅当对于任意数据 $D = \{x_1, x_2, ..., x_m\}$ ，“核矩阵” $\Kappa$ 总是半正定的。
- 只要一个对称函数所对应的核矩阵半正定，它就能作为核函数使用。
- 任何一个核函数都隐式地定义了一个称为“再生核希尔伯特空间” 的特征空间。
常用核函数
- 线性核：
  - $\kappa(x_i, x_j) = x_i^Tx_j$
- 多项式核：
  - $\kappa(x_i, x_j) = (x_i^Tx_j)^d \ \ \ \ \ d \ge 1 为多项式的次数$
- 高斯核：
  - $\kappa(x_i, x_j) = exp(-\ \frac{||x_i - x_j||^2}{2\sigma^2}) \ \ \ \ \ \sigma > 0 为高斯核的带宽$
- 拉普拉斯核：
  - $\kappa(x_i, x_j) = exp(-\ \frac{||x_i - x_j||}{\sigma}) \ \ \ \ \ \sigma > 0$
- Sigmoid核：
  - $\kappa(x_i, x_j) = tanh(\beta x_i^Tx_j + \theta) \ \ \ \ \ tanh 为双曲正切函数,\ \beta > 0,\ \theta < 0$
函数组合
- 若 $\kappa_1$ 和 $\kappa_2$ 为核函数，则对于任意正数 $\gamma_1, \gamma_2$ ，其线性组合也是核函数
  - $\gamma_1\kappa_1 + \gamma_2\kappa_2$
- 若 $\kappa_1$ 和 $\kappa_2$ 为核函数，则核函数的直积也是核函数
  - $\kappa_1\otimes\kappa_2(x,z) = \kappa_1(x,z)\kappa_2(x,z)$
- 若 $\kappa_1$ 为核函数，则对于任意函数 $g(x)$ ，也是核函数
  - $\kappa(x,z) = g(x)\kappa_1(x,z)g(z)$