详解核方法-正定核-两个定义&必要性证明【白板推导系列笔记】持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更

持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第16天，点击查看活动详情

核函数定义

K:X \times X \mapsto \mathbb{R},\forall x,z \in X

则称 $K(x,z)$ 为核函数

正定核定义

\begin{gathered} K:X \times X \mapsto,\forall x,z \in X,有K(x,z)\\ 如果\exists:\phi:x \mapsto \mathbb{R},\phi \in H\\ s.t.K(x,z)=\left<\phi(x),\phi(z)\right> \end{gathered}

那么称 $K(x,z)$ 为正定核函数

这里 $\phi \in H$ ， $H$ 是指Hilbert空间：完备的。可能是无限维的、被赋予内积的线性空间

完备的，可以理解为对极限是封闭的，即对于 $\left\{K_{n}\right\}$ ，有

$\lim\limits_{n \to \infty}K_{n}=K \in H$

被赋予内积的，要求该空间具有对称性、正定性、线性，对应满足公式

$\begin{aligned} \left<f,g\right>&=\left<g,f\right>\\\left<f,f\right>&\geq 0,=成立\Leftrightarrow f=0\\\left<r_{1}f_{1}+r_{2}f_{2},g\right>&=r_{1}\left<f_{1},g\right>+r_{2}\left<f_{2},g\right>\end{aligned}$

也可定义为

\begin{gathered} K:X \times X \mapsto,\forall x,z \in X,有K(x,z)\\ \end{gathered}

如果 $K(x,z)$ 满足如下两条性质

对称性 $\Leftrightarrow K(x,z)=K(z,x)$
正定性 $\Leftrightarrow$ 任取 $N$ 个元素 $x_{1},x_{2},\cdots,x_{N}\in X$ ，对应的Gram矩阵 $K=[K(x_{i},x_{j})]$ 是半正定的

这里Gram矩阵 $K=[K(x_{i},x_{j})]$ ，第一个 $K$ 是Gram矩阵的代号，第二个 $K$ 是函数 $K(x,z)$

现在证明 $K(x,z)=\left<\phi(x),\phi(z)\right>\Rightarrow$ Gram矩阵半正定，且 $K(x,z)$ 对称

实际上这个是充要的，在统计学习方法中有证明，也就说明了两个定义是等价的，这里只证明必要性

先证对称性

\begin{aligned} K(x,z)&=\left<\phi(x),\phi(z)\right>\\ K(z,x)&=\left<\phi(z),\phi(x)\right>\\ \end{aligned}

又根据内积具有对称性质（Hilbert空间定义的），即 $\left<\phi(x),\phi(z)\right>=\left<\phi(z),\phi(x)\right>$ ，因此

K(x,z)=K(z,x)

因此 $K(x,z)$ 满足对称性

再证Gram矩阵半正定，即证 $\forall \alpha \in \mathbb{R}^{N},\alpha^{T}\cdot K \cdot \alpha \geq 0$ （这里的 $\alpha$ 为 $K$ 的非零列向量），记 $K_{ij}=K(x_{i},x_{j})$

\begin{aligned} \alpha^{T}K \alpha&=\begin{pmatrix} \alpha_{1} & \alpha_{2} & \cdot  & \alpha_{N} \end{pmatrix}\begin{pmatrix} K_{11} & K_{12} & \cdots  & K_{1N} \\ K_{21} & K_{22} & \cdots  & K_{2N} \\ \vdots  & \vdots  &  & \vdots  \\ K_{N1} & K_{N2} & \cdots  & K_{NN} \end{pmatrix}\begin{pmatrix} \alpha_{1} \\ \alpha_{2} \\ \vdots  \\ \alpha_{N} \end{pmatrix}\\ &=\sum\limits_{i=1}^{N}\sum\limits_{j=1}^{N}\alpha_{i}\alpha_{j}K_{ij}\\ &=\sum\limits_{i=1}^{N}\sum\limits_{j=1}^{N}\alpha_{i}\alpha_{j}\left<\phi(x_{i}),\phi(x_{j})\right>\\ &=\sum\limits_{i=1}^{N}\sum\limits_{j=1}^{N}\alpha_{i}\alpha_{j}\phi(x_{i})^{T}\phi(x_{j})\\ &=\sum\limits_{i=1}^{N}\alpha_{i}\phi(x_{i})^{T}\sum\limits_{j=1}^{N}\alpha_{j}\phi(x_{j})\\ &这里显然\alpha \in \mathbb{R}\\ &=\left[\sum\limits_{i=1}^{N}\alpha_{i}\phi(x_{i})\right]^{T}\sum\limits_{j=1}^{N}\alpha_{j}\phi(x_{j})\\ &=\left<\sum\limits_{i=1}^{N}\alpha_{i}\phi(x_{i}),\sum\limits_{j=1}^{N}\alpha_{j}\phi(x_{j})\right>\\ &=\left|\left|\sum\limits_{i=1}^{N}\alpha_{i}\phi(x_{i})\right|\right|^{2}\geq 0 \end{aligned}

因此 $K$ 是半正定的