
1. MarKov随机场的直观理解

2. 一些基本概念
2.1 无向图

在无向图中,A、B、C、D为顶点,各顶点之间的连接线称为边。

2.2 概率图:
用图表达概率分布的方式。图中的每个节点表示一个随机变量,与之相连的边则表示了各随机变量之间的概率依赖关系。所以,图表示联合概率分布。以上图为例,设有联合概率分布,
是一组随机变量,那么在图中,节点A表示一个随机变量
,节点A与节点B的边表示随机变量A与随机变量B之间的依赖关系。
-
无向图表示MarKov的三个性质:
- 成对马尔科夫性
节点u、v互不相连,其他所有节点记为O,其所对应的随机变量为
和
。此时:在给定随机变量组
的情况下,
条件独立,即有
- 成对马尔科夫性
- 局部马尔可夫性
在图中任意取一个结点,将与之有边相连的结点均记为W,O是除v、W之外的所有点,v表示随机变量
,W表示随机变量组为
,O表示随机变量组
,则:在给定随机变量组
的情况下,
条件独立,即有
- 全局马尔科夫性
在图中设有集合A,B是被集合C分开的任意结点集合,其所对应的随机变量组分别为
,则在此条件下,认定随机变量组
条件下,随机变量组
是条件独立的。
2.3 概率图模型:
如果联合概率分布满足成对、局部或全局马尔可夫性,则该联合概率分布为概率无向图模型(马尔科夫随机场)。
-
概率图模型中的团和最大团:

此时,再往团中加入任意一个结点,若集合不满足成团的条件,则称加入结点之前的团为最大团。如,往集合中加入
,依然满足成团的条件,继续加入结点
,由于
不与
相连,故而
为最大团。

-
概率图模型中因式分解
谈这个问题之前,先看一看贝叶斯模型和概率图模型的区别:
- 两个贝叶斯模型
-
贝叶斯网络1的联合概率
-

贝叶斯网络2是一个无效的网络,因为按照公式有
- 概率图模型:
但是在概率图模型中就不一样了
有人找了一个函数,能够使得,概率图中的最大团们有:
概率图模型中因式分解:将概率图中的联合概率分布表示为其最大团上的随机变量函数成绩的形式。
其中,C是无向图的最大团,是C的结点对应的随机变量,
是势函数,是C上定义的严格正函数,乘积是在无向图所有的最大团上进行的。
-
概率图模型与贝叶斯网络的区别
-
链状模型 注意,在概率图模型中,
与
不一定只有图中的对应关系。

-
共享一个父结点

-
共享一个孩子结点 贝叶斯网络:



2.4 小结
- Markov随机场中各团之间的关系都是独立的。
- 贝叶斯网络不等同于Markov随机场
3. Hammersley-Clifford定理
Hammersley-Clifford定理揭示了为什么概率无向图的联合概率分布可以表示为公式
和
.
具体证明过程在这里。