【AI】可解释机器学习7 - 朴素贝叶斯分类器

426 阅读2分钟

「这是我参与2022首次更文挑战的第28天,活动详情查看:2022首次更文挑战」。

在前面的6篇文章中,我们以及了解了 7 中不同的可解释机器学习模型,这篇文章将解释介绍这一系列的最后一种可解释机器学习模型:朴素贝叶斯分类器。

贝叶斯定理

在概率论里,贝叶斯定理称得上是大名鼎鼎的定理。朴素贝叶斯分类器就是使用条件概率的贝叶斯定理。

我们先简单复习一下贝叶斯定理:

  • 先验概率:通过经验来判断事情发生的概率
  • 后验概率:发生结果之后,推测原因的概率
  • 条件概率:事件 BB 在另外一个事件 AA 已经发生条件下的发生概率,表示为 P(BA)P(B|A)

实际上,贝叶斯定理就是求解后验概率:

P(BiA)=P(Bi)P(ABi)j=1nP(Bj)P(ABj)P(B_i|A) = \frac{P(B_i)P(A|B_i)}{\sum^n_{j=1}P(B_j)P(A|B_j)}

朴素贝叶斯分类器

对于每个特征,朴素贝叶斯分类器根据特征的值计算一个类的概率。朴素贝叶斯分类器独立计算每个特征的类概率,这相当于特征条件独立的强(朴素)假设。

朴素贝叶斯是一个条件概率模型,它对类 CkC_k 的概率建模如下:

P(Ckx)=1ZP(Ck)i=1nP(xiCk)P(C_k|x)=\frac{1}{Z}P(C_k)\prod_{i=1}^n P(x_i|C_k)

其中,ZZ 是一个缩放参数,可确保所有类的概率总和为 1(否则它们就不是概率)。类的条件概率是类概率乘以给定类的每个特征的概率,用 ZZ 归一化。

这个公式可以通过使用贝叶斯定理推导出来。

解释

由于独立性假设,朴素贝叶斯是一个可解释的模型。

它可以在模块化级别进行解释。每个特征对某个类别预测的贡献可以用条件概率解释。

小结

可解释机器学习 系列的前 7 篇文章中,我们了解了 8 种可解释机器学习模型:

  1. 线性回归模型
  2. 逻辑回归模型
  3. 广义线性模型 (GLM)
  4. 广义加性模型 (GAM)
  5. 决策树
  6. 决策规则
  7. RuleFit 算法
  8. 朴素贝叶斯分类器

可解释机器学习模型系列至此告一段落。

除了可解释机器学习模型,可解释机器学习中,还有一些模型无关的解释方法。对于近年来热门的神经网络,也有许多关于其可解释性的研究。