在上一篇文章中留下了个尾巴是关于EM算法在HMM隐马尔可夫模型的参数估计拓展上的应用.在学习EM算法以后,我们再去学习HMM的Baum-Weich算法就会相对的非常容易,Baum-Weich不过是EM算法的一种特例而已,这个算法是1972年提出的,Baum-Weich的出现甚至…

EM算法在多元正态分布缺失的数据下一般都是有较为广泛的应用,所以在这样典型的应用情境下,我将主要研究EM算法在二元正态分布下的应用. 这里的M1表示在完全数据下的均值,u2的估计值求法与此相似. 把上式中的累加求和去掉,，如果直接对对数似然函数求导来寻求极值是不可行的。但是如果…

根据其收敛特性可以知道,如果p=1,EM算法是线性收敛的,当p>1,如果观测的结果信息为正定的,那么收敛仍然可以认为是线性的. EM算法的收敛速度与缺失信息比例这个量是紧密相关的,缺失信息比率其实就是EM算法中的映射的斜率,由这个斜率来控制EM的收敛的速度.缺失信息比率的最大特…