「这是我参与11月更文挑战的第13天，活动详情查看：2021最后一次更文挑战」

简介

贝叶斯网络是一种描述变量间不确定性因果关系的概率图模型，是目前不确定知识表达和推理领域最有效的理论模型之一。它具有强大的知识推理、直观表达能力、清晰的拓扑结构以及方便的决策机制等优点，广泛应用于预测、推理、诊断、决策风险及可靠性分析等领域。

贝叶斯定义

对概率图模型的理解

概率模型图是用来表示变量概率依赖关系的理论，结合概率论与图论的知识，利用图来表示与模型有关的变量的联合概率分布。概率图模型构建了这样的一幅图，用观测节点表示观测到的数据，用隐含节点表示潜在的知识，用边来描述知识与数据的相互关系，最后基于这样的关系图获得一个概率分布。

概率图中的节点分为隐含节点和观测节点，边分为有向边和无向边。从概率论的角度，节点对应于随机变量，边对应于随机变量的依赖或相关关系，其中有向边表示单向依赖，无向边表示相互依赖关系。

贝叶斯定理

条件概率（又称后验概率）就是事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示P(A|B)，读作“在B条件下A的概率”。

比如上图，在同一个样本空间Π中的事件或子集A于B，如果随机从Π中选出一个元素属于B，那么这个随机选择的元素还属于A的概率就定义为在B的前提下A的条件概率：

联合概率：P(A∩B)或者P(A,B)

边缘概率（先验概率）：P(A)或者P(B)

贝叶斯结构形式

Head-to-head

依上图，所以有：P(a,b,c) = P(a)*P(b)*P(c|a,b)成立，即在c未知的条件下，a、b被阻断(blocked)，是独立的，称之为head-to-head条件独立。

tail-to-tail

考虑c未知，跟c已知这两种情况：

在c未知的时候，有：P(a,b,c)=P©*P(a|c)*P(b|c)，此时，没法得出P(a,b) = P(a)P(b)，即c未知时，a、b不独立。
在c已知的时候，有：P(a,b|c)=P(a,b,c)/P©，然后将P(a,b,c)=P©*P(a|c)P(b|c)带入式子中，得到：P(a,b|c)=P(a,b,c)/P© = P©P(a|c)*P(b|c) / P© = P(a|c)*P(b|c)，即c已知时，a、b独立。

head-to-tail

还是分c未知跟c已知这两种情况：

c未知时，有：P(a,b,c)=P(a)*P(c|a)*P(b|c)，但无法推出P(a,b) = P(a)P(b)，即c未知时，a、b不独立。
c已知时，有：P(a,b|c)=P(a,b,c)/P©，且根据P(a,c) = P(a)P(c|a) = P©P(a|c)，可化简得到：

P ( a , b ∣ c ) P(a,b|c) P(a,b∣c)

= P ( a , b , c ) / P ( c ) P(a,b,c)/P(c) P(a,b,c)/P(c)

= P ( a ) ∗ P ( c ∣ a ) ∗ P ( b ∣ c ) / P ( c ) P(a)*P(c|a)*P(b|c) / P(c) P(a)∗P(c∣a)∗P(b∣c)/P(c)

= P ( a , c ) ∗ P ( b ∣ c ) / P ( c ) P(a,c)*P(b|c)/P(c) P(a,c)∗P(b∣c)/P(c)

= P ( a ∣ c ) ∗ P ( b ∣ c ) P(a|c)*P(b|c) P(a∣c)∗P(b∣c)

所以，在c给定的条件下，a，b被阻断(blocked)，是独立的，称之为head-to-tail条件独立。

这个head-to-tail其实就是一个链式网络，如下图所示：

根据之前对head-to-tail的讲解，我们已经知道，在xi给定的条件下，xi+1的分布和x1,x2…xi-1条件独立。意味着啥呢？意味着：xi+1的分布状态只和xi有关，和其他变量条件独立。通俗点说，当前状态只跟上一状态有关，跟上上或上上之前的状态无关。这种顺次演变的随机过程，就叫做马尔科夫链（Markov chain）。

寄语

根据前面几篇文章的介绍，相信大家已经对贝叶斯网络有了一个初步的认识，这后面的几天，将会系统的给大家介绍贝叶斯网络的构成，定义，分支等一些内容，同时也是系统的给大家介绍贝叶斯网络与静态贝叶斯网络和动态贝叶斯网络的区别，与此同时也会和大家分享一些贝叶斯网络在实际研究中的意义所在。

感谢大家这一路以来，对于小落叶的支持，小落叶目前也是一个初出茅庐的人，希望和大家一起进步。

贝叶斯综述（1）

简介