『机器学习』白板推导系列

对于无向图来说就需要根据它图中的最大团来写成一个因式分解的形式，无向图模型在局部并没有表现出是一个概率模型，在整体上才表现地是一个概率模型，由此我们也就遇到了配分函数。

本文章从从机器学习到深度学习、感知机到深度学习介绍了发展中部分具有深远影响的转折点，比较了机器学习与深度学习，后对非线性问题提供了三种解决方案。

从数据类型引入，当GMM与K-means无法解决的聚类任务出现时，我们的谱聚类就要大展身手了，他的方法是基于无向图的，能很好的把混杂在一起的数据区分开的方法。

回顾之前的文章中介绍过的各种概率图模型，我们可以总结一些它们的规律和特点以便于能够整体地理解和把握概率图模型这一大类。

受限玻尔兹曼机（Restricted Boltzmann Machine，RBM）是玻尔兹曼机的一种特殊形式，它在BM的基础上进行了限制。RBM与BM相比，更易于训练和推断，许多任务表现出色。

将⼀维高斯分布推广到多变量中就得到了高斯网络，将多变量推广到无限维，就得到了高斯过程。高斯过程是定义在连续域（时间/空间）上的无限多个高斯随机变量所组成的随机过程。

本文首先介绍了线性回归的基本概念，其次从贝叶斯派的角度证明线性回归方法的正确性，是对回归问题的一种补充。

高斯网络是一种概率图模型，对于普通的概率图模型，其随机变量的概率分布是离散的，而高斯网络的概率分布是连续的高斯分布。为此我们从马尔科夫网络与贝叶斯网络两个角度来介绍高斯网络。

从HMM与MEMM引入条件随机场，并且介绍了CRF的概率密度函数以及其向量形式，通过参数估计与推断，解决了求边缘概率与参数估计等问题。

粒子滤波（Particle Filter）是动态模型的非线性，非高斯的版本，也就是说z_t和z_{t-1}、x_t和z_t的关系是非线性的，其噪声也是非高斯的。

HMM 模型适用于隐变量是离散的值的时候，对于连续隐变量的 HMM，常用卡尔曼滤波（Kalman Filtering）描述线性高斯模型的态变量，使用粒子滤波（Particle Filter）。

隐马尔可夫模型（Hidden Markov Model；缩写：HMM）或称作隐性马尔可夫模型，是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。

讲述了MCMC的基本步骤和涉及到的基本概念，以及求解的MH算法，并且从MH引出更易实现的吉布斯抽样，并且讲述了可能会遇到的一些困难。

本文介绍的是MCMC的核心，从平稳分布引入蒙特卡罗方法，并且从基本的马尔科夫链的类型与兴致开始讲起，为后文做好充分基础铺垫工作

讲述了概率模型如何演化为优化模型的，引出了变分推断的公式，并且与广义EM对比，最后引出了随机梯度变分推断，并进行了总结。

从高斯模型引入高斯混合模型，并且尝试使用极大似然估计和EM算法两个角度来求解高斯算法，展示了算法的全过程。

全面的介绍了EM算法的推导，证明了EM算法的收敛性，以及从KL散度和Jensen不等式两个方面导出EM的迭代公式。

本文介绍了一些概率图模型的推断方法，主要有变量消除法和信念传播法，并且引入了Max product与道德图，因子图等等

本节主要讲述了概率图模型的基本规则，基本假设，以及要学习到的知识，从有向图和无向图两个角度举例，引出基本的Hand2hand，Tail2tail，Hand2tail，D划分，马尔科夫毯等等..

对指数族分布的一般形式，以及配分函数，还有一些共有特征进行介绍，并且从高斯分布的角度描述质数组分布，以及讨论了充分统计量与对数配分函数和极大似然估计的关系，最后概括了最大熵的具体内容。