耀zzzzzzz

其中 是高斯分布的均值向量， 是协方差矩阵. 于是我们只要将学习到的参数 代入 和 的函数，在预测时，只需要代入数据，计算出不同类别中最大的 ，便可以得到预测的类别.

能计算出联合概率分布，可以反映同类数据本身的相似度. 学习收敛速度更快，即当样本容量增加的时候，学习到的模型可以更快地收敛于真实模型. 能够用于数据不完整的情况，且能检测异常值. 含有更多的信息，但同样也需要更多的计算资源. 仅用于分类任务时，有许多冗余信息. 学习的是条件概率…

即事件的不确定性越大, 信息熵就越大, 信息量也就越多. 假定 和 是两个随机变量, 是我们需要了解的. 假定我们知道了 的随机分布 , 那么也就知道了 的熵: 假如我们还知道了 的一些信息, 包括它和 的联合概率分布(Joint Probability), 以及在 取不同值的…

我们设关于类别 的条件概率为 ，假设 有确定的形式并且被参数 唯一确定，那么实际上我们的训练过程就是要利用数据集 训练出较为合适的参数 ，即参数估计(parameter estimation)过程 . 这里，我们把 记为 . 上述是似然函数(通常简称似然)在数理统计中的意义，因…

从今天开始，我会不定期从自己的个人博客one-blog中搬运一些自己学习机器学习时的笔记。在我学习机器学习的过程中，从书里，从网上大神们的笔记里得到了很多启发，因此笔记也或多或少有借鉴的地方，所以在每篇文章末尾我会附上参考的大神们笔记的出处，希望大家多多关注这些大神们。最后，感…

期望极大算法(expectation maximization algorithm)，简称EM算法，是一种迭代算法，可以用于含义隐变量(hidden variable) 的概率模型参数的极大似然估计，或极大后验概率估计. 期望极大算法(expectation maximizat…