jjyaoao

粒子滤波（Particle Filter）是动态模型的非线性，非高斯的版本，也就是说z_t和z_{t-1}、x_t和z_t的关系是非线性的，其噪声也是非高斯的。

HMM 模型适用于隐变量是离散的值的时候，对于连续隐变量的 HMM，常用卡尔曼滤波（Kalman Filtering）描述线性高斯模型的态变量，使用粒子滤波（Particle Filter）。

隐马尔可夫模型（Hidden Markov Model；缩写：HMM）或称作隐性马尔可夫模型，是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。

讲述了MCMC的基本步骤和涉及到的基本概念，以及求解的MH算法，并且从MH引出更易实现的吉布斯抽样，并且讲述了可能会遇到的一些困难。

本文介绍的是MCMC的核心，从平稳分布引入蒙特卡罗方法，并且从基本的马尔科夫链的类型与兴致开始讲起，为后文做好充分基础铺垫工作

讲述了概率模型如何演化为优化模型的，引出了变分推断的公式，并且与广义EM对比，最后引出了随机梯度变分推断，并进行了总结。

从高斯模型引入高斯混合模型，并且尝试使用极大似然估计和EM算法两个角度来求解高斯算法，展示了算法的全过程。

全面的介绍了EM算法的推导，证明了EM算法的收敛性，以及从KL散度和Jensen不等式两个方面导出EM的迭代公式。

本文介绍了一些概率图模型的推断方法，主要有变量消除法和信念传播法，并且引入了Max product与道德图，因子图等等