作者：CHEONG

公众号：AI机器学习与知识图谱

研究方向：自然语言处理与知识图谱

前言： 文中含有大量公式，若需获取本文全部的手书版原稿资料，扫码关注公众号【AI机器学习与知识图谱】，回复: 概率图模型第一讲即可获取。可添加微信号【17865190919】进公众号讨论群，加好友时备注来自掘金。原创不易，转载请告知并注明出处！

让我们进入正文。本文将从从概率和图两个角度先来理解一下概率图模型。

一、概率角度

首先从概率的角度看，概率问题关注什么？随机变量x服从何种概率分布，对于高维随机变量 $p(x_1, x_2, ..., x_p)$ ，如何求边缘概率分布 $p(x_i)$ 和条件概率分布 $p(x_j|x_i)$ ，使用两个基本法则是：

1、加法法则：

2、乘法法则：

概率中的运算都是基于上述两个简单的加法法则和乘法法则，由其衍生出来的两个重要的法则分别是：

1、链式法则：

2、贝叶斯法则：

但高维随机变量问题存在的困境是：维度高，计算复杂， $p(x_1, x_2, ..., x_p)$ 计算量太大，因此有以下三种简化方式，简化强度分别由强到弱为：相互独立假设、一阶马尔科夫假设和条件独立性假设。

1、相互独立假设：以朴素贝叶斯模型为代表，计算公式为：

2、一阶马尔科夫假设：即HMM模型中的齐次马尔科夫假设，放宽了相互独立假设条件，即随机变量 $x_i$ 只和 $x_{i-1}$ 有关，和其他随机变量都不相关，公式表示为：

3、条件独立性假设：又放宽了一阶马尔科夫假设，计算公式为：

$x_A,x_B,x_C$ 都是集合且不相交，含义是在给定集合 $x_C$ 情况下，集合 $x_A$ 和集合 $x_B$ 相互独立。

注意： 条件独立性假设在图中有明显体现，在概率图中可以很清晰的判断出随机变量之间的条件独立性，不需要通过计算得出，相对于传统概率计算来说是概率图的一大优势所在。

二、图角度

从图的角度，分为图的表示Representation，推断Inference和学习Learning三个方面。

1、在Representation方面：图可分为有向图和无向图，有向图经典模型即贝叶斯网络，无向图经典模型即马尔科夫网络。这里提一个常用重要的概率图即高斯图，高斯和有向和无向概念结合又可分为高斯贝叶斯网络和高斯马尔科夫网络。

2、在Graph Inference方面：首先明白推断的含义是在给定已知数据情况下，求某些数据概率分布是什么。图的推断方法可分为精确推断和近似推断，近似推断又可分为确定性近似推断如变分推断和随机近似推断如MCMC。

3、在Graph Learning方面：图学习可分为两种：参数学习和结构学习，参数学习又分完备数据和隐变量两种，完备数据即不含有隐变量，隐变量学习一般用EM算法求解。结构学习即给定了数据前提下学习那种图结构更符合当前数据，再学习参数。

接下来章节将依次介绍有向图的因子分解和条件独立性，无向图的因子分解和条件独立性。

参考视频资料：【机器学习】【白板推导系列】作者：shuhuai008

参考书籍资料：Pattern Recognition and Machine Learning 作者：[Christopher Bishop](book.douban.com/search/Chri… Bishop)