概率图模型基础(3)——贝叶斯网络的独立性

2019-08-30 2,769 阅读4分钟

1. 贝叶斯网的基本独立性

学生成绩

在学生成绩示例图中，用边表示其直接依赖关系。

根据上一节概率图模型基础(2)——贝叶斯网络中的因果关系，在节点的独立性方面，可以得出什么结论呢？

局部独立性定义

在学生成绩的例子中：在给定父节点Grade的情况下，Letter与图中其他节点都独立。有 $P(L \perp I,D,S|G)$ 成立。

2. 图与分布

这一节概念有点抽象？~~（至少我是这么觉得，所以后面后回来重新修改了。）~~

首先我自己先瞎BB几句：当我们在实际应用中面对一系列的数据的时候，一般来说会从下面两个方面理解：

观察数据（其实就是观察数据的分布），从一堆变量中找出相互独立的变量（I、G）以及在某些条件下独立的变量（类似G、I、S），根据观察结果绘制图。这一些列的动作，就是由条件概率分布作注释的图，这个图通过链式法则为贝叶斯网定义了一个联合分布。

贝叶斯图其实就是好几堆独立性变量组合在一起的可视化结果。

2.1 I-Maps(independency map)

2.1.1 I-Maps是啥？

2.1.1.1 定义

$P$ 是 $\chi$ 上的分布， $I(P)$ 定义为 $P$ 中满足独立性的集合。

2.1.1.2 理解

I-map：记贝叶斯网络为 $G$ ，概率分布为 $P$ ，若 $G$ 中表现出的独立性的集合是 $P$ 中表现出的独立性的集合的子集。则 $G$ 是 $P$ 的一个I-map。比如

概率图模型-原理与技术.png

先看Graph：

对于 $G_\varnothing$ 来说， $X$ , $Y$ 未连接，故而 $X$ , $Y$ 独立。
对于 $G_{X \rightarrow Y}$ 来说， $X$ 影响 $Y$ ，故而 $X$ , $Y$ 不独立，表现出的独立性为 $\varnothing$ 。
对于 $G_{Y \rightarrow X}$ 来说， $Y$ 影响 $X$ ，故而 $X$ , $Y$ 不独立，表现出的独立性为 $\varnothing$ 。

再看分布P：

对于左表来说，，所以,独立。
- $G_\varnothing$ 表现出 $X$ , $Y$ 独立，满足条件；
- $G_{X \rightarrow Y}$ 和 $G_{Y \rightarrow X}$ 独立性为 $\varnothing$ ，可归为任何分布P的I-map。

所以三个图都是P的I-map。

对于右表来说，，所以,不独立。
- $G_\varnothing$ 表现出 $X$ , $Y$ 独立，不满足条件。
- $G_{X \rightarrow Y}$ 和 $G_{Y \rightarrow X}$ 独立性为 $\varnothing$ ，可归为任何分布P的I-map

所以只有 $G_{X\rightarrow Y},G_{Y \rightarrow X}$ 是P的I-map。

2.1.2 等价I-Maps

2.1.2.1 定义

2.1.2.2 例子

上图中的(a)(b)(c)，虽然网络结构不同，但是都体现了相同的独立性假设： $(X \perp Y|Z)$ 。

2.1.3 I-Maps怎么变身分布的表达

熟悉贝叶斯公式的人都清楚，不管啥网络结构(以学生成绩为例)，

上图的联合分布必然能写成：

P(I,D,G,L,S)=P(I)P(D|I)P(G|I,D)P(L|I,D,G)P(S|I,D,G,L)
\tag{2.1}

有了I-maps之后，就可以简化一些因子:

D,I独立，所以有 $P(D|I)=P(D)$
在给定G的条件下，L和I,D独立，所以有 $P(L|I,D,G)=P(L|G)$

所以公式2.1可以简化为

P(I,D,G,L,S)=P(I)P(D)P(G|I,D)P(L|G)P(S|I)
\tag{2.2}

公式2.2正好满足《概率图模型基础(2)——贝叶斯网络中的因果关系》中贝叶斯网络表达式的书写规律。

另外，多一句嘴，所谓分布的表达，其实就是因子分解。

2.1.4 最小I-Map

最小I-map与给定的节点顺序有关。

2.2 $d-sep_G(X,Y|Z)$

我又来瞎BB了：这个其实就是给定条件下的I-Maps

2.3.1 定义

$d-sep_G(X,Y|Z)$ ：在概率图中，在给定结点 $Z$ 的条件下，结点 $X$ 和结点 $Y$ 存在有效迹（只要是结点连着的，不管方向对不对就称为迹），若结点 $X$ 和结点 $Y$ 相互独立，则可以表示为 $d-sep_G(X,Y|Z)$

示例：
若G为不观测变量则S与D的关系可表示为： $d-sep_G(S,D|I)$

具体如何判断 d-分离，请参考《概率图模型基础(2)——贝叶斯网络中的因果关系》文中第 3.2 结：贝叶斯网络中各节点如何相互影响？

扩展： 与d-separate 相对应的独立性的集合用 $I(G)$ 表示：

I(G)=\left \{ (X \perp Y | Z): d-sep_G(X; Y | Z) \right \}

2.2.2 寻找所有d-sep

思路：

在寻找之前，确保有：观测变量 $Z$ 的集合；贝叶斯网络图结构。 1.从下到上，从叶子结点到根的遍历图结构，标记 $Z$ 及其后代的所有节点。 2. 使用广度优先遍历，遇到如下情况停止，说明不存在d-sep，否则，说明存在d-sep： a. 节点在v-结构中间，但在第一步中未被标记。 b. 节点不在v-结构中间，但是在第一步中被标记了。

2.3 P-Map

3. 参考文献

Coursera——Probabilistic Graphical Models