“我正在参加「掘金·启航计划」”

概率图模型总结

回顾之前的文章中介绍过的各种概率图模型，我们可以总结一些它们的规律和特点以便于能够整体地理解和把握概率图模型这一大类。

1.朴素贝叶斯

朴素贝叶斯（Naive Bayes，NB）是最简单的概率图模型，满足条件独立性假设(朴素贝叶斯假设)，也就是在给定$y$的条件下，$x$之间是相互独立的。朴素贝叶斯的概率图如下：

参考链接：线性分类

2.高斯混合模型

高斯混合模型（Gaussian Mixture Model，GMM）中引入了隐变量，这里的隐变量是离散的，并且在隐变量$y$的条件下观测变量$x$服从高斯分布。高斯混合模型的概率图如下：

高斯混合模型

参考链接：高斯混合模型

3.状态空间模型

状态空间模型（State Space Model，SSM）可以看做高斯混合模型的拓展，它的隐变量现在是一个序列，并且状态空间模型满足齐次马尔可夫假设和观测独立假设。状态空间模型的概率图如下：

状态空间模型

状态空间模型根据它的随机变量是否连续以及是否是高斯分布分为三种类型：隐马尔可夫模型（Hidden Markov Model，HMM）、卡尔曼滤波（Kalman Filter）和粒子滤波（Particle Filter）。

隐马尔可夫模型参考链接：隐马尔可夫模型

卡尔曼滤波参考链接：卡尔曼滤

粒子滤波参考链接：粒子滤波

4.最大熵马尔可夫模型

最大熵马尔可夫模型（Maximum Entropy Markov Model，MEMM）打破了状态空间模型的观测独立假设，从而引入了观测变量之间的关联，不过它受限于标注偏置问题（Label Bias Problem）而没有被广泛使用。另外MEMM可以看做HMM与最大熵模型（Maximum Entropy Model，MEM，逻辑回归就是一个典型的最大熵模型）的结合。MEMM的概率图如下：

5.条件随机场

• 条件随机场

MEMM中存在标准偏置问题，而条件随机场（Conditional Random Fields，CRF）通过将MEMM改造成无向图模型从而解决了这个问题，条件随机场也就是带条件的马尔可夫随机场，作为一个无向图模型，CRF破坏了齐次马尔可夫假设。

• 线性链条件随机场

经常用到的CRF是线性链条件随机场（Linear Chain-Conditional Random Fields，LC-CRF），LC-CRF中的隐变量是一个线性链，它的概率图如下：

参考链接：条件随机场

6.玻尔兹曼机

• 玻尔兹曼机

在无向图的基础上如果引入隐变量也就得到了玻尔兹曼机（Boltzmann Machine，BM），并且玻尔兹曼机的概率分布满足指数族分布。

• 受限玻尔兹曼机

由于玻尔兹曼机的推断问题难以解决，也就有了受限玻尔兹曼机（Restricted Boltzmann Machine，RBM）。受限玻尔兹曼机相当于满足了条件独立性，也就是在给定隐变量的条件下，观测变量之间是相互独立的，反之亦然。

7.总结

通过回顾上面的多种概率图模型，我们发现不同的概率图模型仅仅在以下几个方面存在不同的设定：

• ①方向（有向图还是无向图）——边的性质；
• ②离散/连续/混合——点的性质；
• ③条件独立性——边的性质；
• ④隐变量——点的性质；
• ⑤指数族分布——结构特点。

概率图模型作为机器学习传统的统计方法，虽然有时候会受到一些限制，效果不及当前的深度学习技术，但是作为机器学习的基础内容仍然值得学习和掌握。