一、概述

将⼀维高斯分布推广到多变量中就得到了高斯网络，将多变量推广到无限维，就得到了高斯过程。高斯过程是定义在连续域（时间/空间）上的无限多个高斯随机变量所组成的随机过程。具体的形式化的定义如下：

对于时间轴上的随机变量序列$\left \{\xi _{t}\right \}_{t\in T}$，$T$是一个连续域，如果$\forall n\in N^{+}$，$t_{1},t_{2},\cdots ,t_{n}\in T$，满足$\left \{\xi _{t_{1}},\xi _{t_{2}},\cdots ,\xi _{t_{n}}\right \}\triangleq\xi _{t_{1}-t_{n}}\sim N(\mu _{t_{1}-t_{n}},\Sigma _{t_{1}-t_{n}})$，那么$\left \{\xi _{t}\right \}_{t\in T}$就是一个高斯过程（Gaussian Process)。

上面的定义中$t$称为index，$\xi _{t}$是随机变量。

一个高斯过程可以有两个函数，即均值函数$m(t)$和协方差函数$k(s,t)$来确定：

$$GP\left (m\left (t\right ),k\left (s,t\right )\right )\\ \left\{\begin{matrix} m(t)=E[\xi _{t}]\\ k\left (s,t\right )=E[(\xi _{s}-E[\xi _{s}])(\xi _{t}-E[\xi _{t})] \end{matrix}\right.$$

举个例子来说，下图的时间轴（也就是定义中的连续域）代表了人的一生，这里假设人能活100岁，从这个连续域里任意取多个时刻都会对应了一个高斯随机变量：

这里的每个随机变量可以认为是一个人在一生中这个阶段的表现值，服从一个高斯分布：

在这个人人生的每一个阶段，如果他比较努力，他的表现可能就比均值高，如果不努力可能表现就比均值低，将每个高斯分布采样的样本点连起来就是高斯过程的一个样本：

二、核贝叶斯线性回归-权重空间角度

之前的贝叶斯线性回归博客：贝叶斯线性回归

在处理线性数据时，我们可以直接采取贝叶斯线性回归的策略。对于非线性数据，一种有效的方法是利用核技术将其从低维空间映射到高维空间，然后再执行贝叶斯线性回归。这与支持向量机中的核技术有一定的相似性。如果最终的结果只与一个核函数（即关于$x$的内积）有关，那么就适合采用核技术。同样地，在执行非线性贝叶斯线性回归时，如果数据在被映射到高维空间后，其后验的均值和方差仅与一个核函数相关，那么这就证明了在贝叶斯线性回归中使用核技术是有效的。

对于线性数据的预测来说，有：

$$f(x^{*})|X,Y,x^{*}\sim N\left (\left (x^{*}\right )^{T}\sigma ^{-2}\Lambda _{w}^{-1}X^{T}Y,\left (x^{*}\right )^{T}\Lambda _{w}^{-1}x^{*}\right ),\; 其中\Lambda _{w}=\sigma ^{-2}X^{T}X+\Sigma _{p}^{-1}$$

对于非线性数据，要使用核方法，首先要对其进行低维到高维的非线性转换：

$$If:\phi :x \mapsto z,\; x\in \mathbb{R}^{p},\; z=\phi (x)\in \mathbb{R}^{q},\; q> p\\ Define:\Phi =\phi (X)=\begin{pmatrix} \phi (x_{1}) & \phi (x_{2}) & \cdots & \phi (x_{N}) \end{pmatrix}_{N\times q}^{T}\\ Then:f(x)=\phi (x)^{T}w\\ f(x^{*})|X,Y,x^{*}\sim N\left (\sigma ^{-2}\phi \left (x^{*}\right )^{T}\Lambda _{w}^{-1}\Phi ^{T}Y,\phi \left (x^{*}\right )^{T}\Lambda _{w}^{-1}\phi \left (x^{*}\right )\right ),\; \Lambda _{w}=\sigma ^{-2}\Phi ^{T}\Phi +\Sigma _{p}^{-1}$$

上面的式子中，均值和方差都存在$\Lambda _{w}^{-1}$，这一项可以通过伍德伯里矩阵恒等式（Woodbury Matrix Identity)求出来，该恒等式如下：

$$(A+UCV)^{-1}=A^{-1}-A^{-1}U(C^{-1}+VA^{-1}U)^{-1}VA^{-1}\\ 其中A:n\times n,U:n\times k,C:k\times k,V:k\times n$$

按照伍德伯里矩阵恒等式的形式，我们可以将$\Lambda _{w}$对应为$A+UCV$：

$$\Lambda _{w}=\underset{A}{\underbrace{\Sigma _{p}^{-1}}}+\underset{U}{\underbrace{\Phi ^{T}}}\underset{C}{\underbrace{\sigma ^{-2}I}}\underset{V}{\underbrace{\Phi}}$$

代入恒等式求解得到$\Lambda _{w}^{-1}$：

$$\Lambda _{w}^{-1}=(\Sigma _{p}^{-1}+\Phi ^{T}\sigma ^{-2}I\Phi)^{-1}\\ =\Sigma _{p}-\Sigma _{p}\Phi ^{T}(\sigma ^{2}I+\Phi\Sigma _{p}\Phi ^{T})^{-1}\Phi\Sigma _{p}$$

将$\Lambda _{w}^{-1}$代入就能$f(x^{*})|X,Y,x^{*}$，就能得到均值和方差，不过这里的均值直接代入比较复杂，可以通过对$\Lambda _{w}$做一些变换来得到均值：

$$\Lambda _{w}=\sigma ^{-2}\Phi ^{T}\Phi +\Sigma _{p}^{-1}\\ \Leftrightarrow \Lambda _{w}\Sigma _{p}=\sigma ^{-2}\Phi ^{T}\Phi \Sigma _{p}+I\\ \Leftrightarrow \Lambda _{w}\Sigma _{p}\Phi ^{T}=\sigma ^{-2}\Phi ^{T}\Phi \Sigma _{p}\Phi ^{T}+\Phi ^{T}\\ \Leftrightarrow \Lambda _{w}\Sigma _{p}\Phi ^{T}=\sigma ^{-2}\Phi ^{T}(\Phi \Sigma _{p}\Phi ^{T}+\sigma ^{2}I)\\ \Leftrightarrow \Sigma _{p}\Phi ^{T}=\sigma ^{-2}\Lambda _{w}^{-1}\Phi ^{T}(\Phi \Sigma _{p}\Phi ^{T}+\sigma ^{2}I)\\ \Leftrightarrow \sigma ^{-2}\Lambda _{w}^{-1}\Phi ^{T}=\Sigma _{p}\Phi ^{T}(\Phi \Sigma _{p}\Phi ^{T}+\sigma ^{2}I)^{-1}\\ \Leftrightarrow \sigma ^{-2}\phi (x^{*})^{T}\Lambda _{w}^{-1}\Phi ^{T}Y=\phi (x^{*})^{T}\Sigma _{p}\Phi ^{T}(\Phi \Sigma _{p}\Phi ^{T}+\sigma ^{2}I)^{-1}Y$$

由此求得了$f(x^{*})|X,Y,x^{*}$的均值，将$\Lambda _{w}^{-1}$带入方差可以计算得到方差：

$$\phi(x^{*})^{T}\Sigma _{p}\phi(x^{*})-\phi(x^{*})^{T}\Sigma _{p}\Phi ^{T}(\sigma ^{2}I+\Phi\Sigma _{p}\Phi ^{T})^{-1}\Phi\Sigma _{p}\phi(x^{*})$$

因此最终得到$f(x^{*})|X,Y,x^{*}$的概率分布如下：

$$f(x^{*})|X,Y,x^{*}\sim N({\color{Red}{\phi (x^{*})^{T}\Sigma _{p}\Phi ^{T}}}({\color{Red}{\Phi \Sigma _{p}\Phi ^{T}}}+\sigma ^{2}I)^{-1}Y,\\{\color{Red}{\phi(x^{*})^{T}\Sigma _{p}\phi(x^{*})}}-{\color{Red}{\phi(x^{*})^{T}\Sigma _{p}\Phi ^{T}}}(\sigma ^{2}I+{\color{Red}{\Phi\Sigma _{p}\Phi ^{T}}})^{-1}{\color{Red}{\Phi\Sigma _{p}\phi(x^{*})}})$$

通过上面式子的红色部分可以看出$f(x^{*})|X,Y,x^{*}$的分布只与$K(x,x^{'})=\phi(x)^{T}\Sigma _{p}\phi(x^{'})$这样的项有关，如果我们能够证明这是一个核函数（即能够表达为一个内积的形式），那么就意味着对于非线性数据，我们可以采用核技巧将数据映射到高维空间，然后再执行贝叶斯线性回归。接下来，我们将进行以下定义：

$$\because \Sigma _{p}:正定且对称,\Sigma _{p}=(\Sigma _{p}^{1/2})^{2}\\ \therefore K(x,x^{'})=\phi(x)^{T}\Sigma _{p}^{1/2}\Sigma _{p}^{1/2}\phi(x^{'})=\left (\Sigma _{p}^{1/2}\phi(x)\right )^{T}\Sigma _{p}^{1/2}\phi(x^{'})=<\psi (x), \\ \psi (x^{'})>,\; \; \psi (x)=\Sigma _{p}^{1/2}\phi(x)$$

因此这是一个核函数。

核贝叶斯线性回归也就是高斯过程回归，这个从参数$w$的角度进行推导的过程是高斯过程回归的权重空间角度。

三、从权重空间角度到函数空间角度

对于应用了核方法的贝叶斯线性回归，满足：

$$f(x)=\phi (x)^{T}w\\ y=f(x)+\varepsilon \\ \varepsilon \sim N(0,\sigma ^{2})$$

这里给定先验$w$满足一个高斯分布：

$$w\sim N(0,\Sigma _{p})$$

$w$是一个随机变量，那么$f(x)$也是一个随机变量，对于不同$x$，$f(x)$就是不同的随机变量，$\left \{f(x)\right \}$就是一些随机变量的组合。接下来，对于$f(x)$，我们看一下它的均值和协方差：

$$E[f(x)]=E[\phi (x)^{T}w]=\phi (x)^{T}E[w]=0\\ cov\left (f(x),f(x^{'})\right )=E[(f(x)-\underset{=0}{\underbrace{E[f(x)]}})(f(x^{'})-\underset{=0}{\underbrace{E[f(x^{'})]}})]\\ =E[f(x)\cdot f(x^{'})]\\ =E[\phi (x)^{T}w\cdot \phi (x^{'})^{T}w]\\ =E[\phi (x)^{T}ww^{T}\phi (x^{'})]\\ =\phi (x)^{T}E[ww^{T}]\phi (x^{'})\\ =\phi (x)^{T}E[(w-0)(w^{T}-0)]\phi (x^{'})\\ =\phi (x)^{T}\Sigma _{p}\phi (x^{'})\\ =K(x,x^{'})$$

很明显，$f(x)$的协方差是一个核函数。如果我们将其与高斯过程的定义进行比较，我们可以看到$x$相当于索引$t$，每个$x$对应一个随机变量$f(x)$。在这里，$f(x)$就像是$\xi _{t}$，只是$f(x)$和$x$之间有明确的函数关系，而$\xi _{t}$和$t$则没有。另外，$f(x)$的协方差也满足一个核函数的特性，这表明$f(x)$就是一个高斯过程。这也解释了为什么核贝叶斯线性回归就是高斯线性回归。

高斯过程回归的求解方法可以从权重空间和函数空间两个角度进行。在上一节中，我们从权重空间的角度出发，关注的是权重$w$。而从函数空间的角度，我们关注的是$f(x)$。在下一小节中，我们将介绍函数空间角度的求解方法。

四、函数空间角度

已有数据如下：

$$X=\begin{pmatrix} x_{1} & x_{2} & \cdots & x_{N} \end{pmatrix}_{N\times p}^{T}\\ Y=\begin{pmatrix} y_{1} & y_{2} & \cdots & y_{N} \end{pmatrix}_{N\times 1}^{T}$$

对于$f(X)$，满足：

$$f(X)\sim N(\mu (X),K(X,X))$$

对于$Y$，满足：

$$Y\sim N(\mu (X),K(X,X)+\sigma ^{2}I)$$

解释一下方差矩阵$K(X,X)+\sigma ^{2}I$的由来，对于方差矩阵对角线上的元素：

$$E[y\cdot y]=E[(f(x)+\varepsilon )(f(x)+\varepsilon )]\\ =E[f(x)\cdot f(x)+2f(x)\cdot \varepsilon +\varepsilon \cdot \varepsilon ]\\ =\underset{f(x)的方差}{\underbrace{E[f(x)\cdot f(x)]}}+2\underset{相互独立变\\量的协方差}{\underbrace{E[f(x)\cdot \varepsilon ]}}+\underset{\varepsilon 的方差}{\underbrace{E[\varepsilon \cdot \varepsilon ]}}\\ =K(x,x)+\sigma ^{2}$$

对于方差矩阵非对角线上的元素：

$$E[y\cdot y^{'}]=E[(f(x)+\varepsilon )(f(x^{'})+\varepsilon ^{'})]\\ =E[f(x)\cdot f(x^{'})+\varepsilon \cdot f(x^{'})+f(x)\cdot \varepsilon ^{'}+\varepsilon \cdot \varepsilon ^{'}]\\ =E[f(x)\cdot f(x^{'})]+\underset{相互独立变\\量的协方差}{\underbrace{E[\varepsilon \cdot f(x^{'})]}}+\underset{相互独立变\\量的协方差}{\underbrace{E[f(x)\cdot \varepsilon ^{'}]}}+\underset{相互独立变\\量的协方差}{\underbrace{E[\varepsilon \cdot \varepsilon ^{'}]}}\\ =K(x,x^{'})$$

预测问题也就是对于给定的新的数据$X^{*}=\begin{pmatrix} x_{1}^{*} & x_{2}^{*} & \cdots & x_{M}^{*} \end{pmatrix}$，需要求解对应的$Y^{*}=f(X^{*})+\varepsilon$。

我们把$Y$和$f(X^{*})$拼接成一个向量，并且按照上面得到方差矩阵的方法简单推一下就可以得到这个拼接起来的向量的分布：

$$\begin{pmatrix} Y\\ f(X^{*}) \end{pmatrix}\sim N\left (\begin{pmatrix} \mu (X)\\ \mu (X^{*}) \end{pmatrix},\begin{pmatrix} K(X,X)+\sigma ^{2}I & K(X,X^{*})\\ K(X^{*},X) & K(X^{*},X^{*}) \end{pmatrix}\right )$$

而对于预测问题，我们要求的是$P(f(X^{*})|X,Y,X^{*})$这个概率，其实也就是$P(f(X^{*})|Y)$，也就是上面拼接起来的向量的一个条件概率分布，而求解高维高斯分布的条件概率分布的方法在高斯分布这一篇中已经推导过了，有现成的公式可以套用：

$$x=\begin{pmatrix} x_{a}\\ x_{b} \end{pmatrix}=\left (\begin{pmatrix} \mu_{a}\\ \mu_{b} \end{pmatrix},\begin{pmatrix} \Sigma _{aa}&\Sigma _{ab}\\ \Sigma _{ba}&\Sigma _{bb} \end{pmatrix}\right )\\ x_{b|a}\sim N(u_{b|a},\Sigma _{b|a})\\ u_{b|a}=\Sigma _{ba}\Sigma _{aa}^{-1}(x_{a}-\mu _{a})+\mu _{b}\\ \Sigma _{b|a}=\Sigma _{bb}-\Sigma _{ba}\Sigma _{aa}^{-1}\Sigma _{ab}$$

对应到上面的拼接向量也就是：

$$\begin{pmatrix} \underset{x_{a}}{\underbrace{Y}}\\ \underset{x_{b}}{\underbrace{f(X^{*}}}) \end{pmatrix}\sim N\left (\begin{pmatrix} \underset{\mu _{a}}{\underbrace{\mu (X)}}\\ \underset{\mu _{b}}{\underbrace{\mu (X^{*})}} \end{pmatrix},\begin{pmatrix} \underset{\Sigma _{aa}}{\underbrace{K(X,X)+\sigma ^{2}I}} & \underset{\Sigma _{ab}}{\underbrace{K(X,X^{*})}}\\ \underset{\Sigma _{ba}}{\underbrace{K(X^{*},X)}} & \underset{\Sigma _{bb}}{\underbrace{K(X^{*},X^{*})}} \end{pmatrix}\right )$$

套用公式得到概率$P(f(X^{*})|Y)$：

$$P(f(X^{*})|Y)=N({\color{Red}{K(X^{*},X)(K(X,X)+\sigma ^{2}I)^{-1}(Y-\mu (X))+\mu (X^{*})}},\\ {\color{Blue}{K(X^{*},X^{*})-K(X^{*},X)(K(X,X)+\sigma ^{2}I)^{-1}K(X,X^{*})}})$$

再加上噪声就得到$Y^{*}$的分布：

$$P(f(X^{*})|Y)=N({\color{Red}{K(X^{*},X)(K(X,X)+\sigma ^{2}I)^{-1}(Y-\mu (X))+\mu (X^{*})}},\\ {\color{Blue}{K(X^{*},X^{*})-K(X^{*},X)(K(X,X)+\sigma ^{2}I)^{-1}K(X,X^{*})+\sigma ^{2}I}})$$

显然比起权重空间角度的方法，从函数空间角度出发更容易求解这个问题。

“本文正在参加 人工智能创作者扶持计划”