「这是我参与2022首次更文挑战的第28天,活动详情查看:2022首次更文挑战」。
在前面的6篇文章中,我们以及了解了 7 中不同的可解释机器学习模型,这篇文章将解释介绍这一系列的最后一种可解释机器学习模型:朴素贝叶斯分类器。
贝叶斯定理
在概率论里,贝叶斯定理称得上是大名鼎鼎的定理。朴素贝叶斯分类器就是使用条件概率的贝叶斯定理。
我们先简单复习一下贝叶斯定理:
- 先验概率:通过经验来判断事情发生的概率
- 后验概率:发生结果之后,推测原因的概率
- 条件概率:事件 在另外一个事件 已经发生条件下的发生概率,表示为
实际上,贝叶斯定理就是求解后验概率:
朴素贝叶斯分类器
对于每个特征,朴素贝叶斯分类器根据特征的值计算一个类的概率。朴素贝叶斯分类器独立计算每个特征的类概率,这相当于特征条件独立的强(朴素)假设。
朴素贝叶斯是一个条件概率模型,它对类 的概率建模如下:
其中, 是一个缩放参数,可确保所有类的概率总和为 1(否则它们就不是概率)。类的条件概率是类概率乘以给定类的每个特征的概率,用 归一化。
这个公式可以通过使用贝叶斯定理推导出来。
解释
由于独立性假设,朴素贝叶斯是一个可解释的模型。
它可以在模块化级别进行解释。每个特征对某个类别预测的贡献可以用条件概率解释。
小结
在 可解释机器学习
系列的前 7 篇文章中,我们了解了 8 种可解释机器学习模型:
- 线性回归模型
- 逻辑回归模型
- 广义线性模型 (GLM)
- 广义加性模型 (GAM)
- 决策树
- 决策规则
- RuleFit 算法
- 朴素贝叶斯分类器
可解释机器学习模型系列至此告一段落。
除了可解释机器学习模型,可解释机器学习中,还有一些模型无关的解释方法。对于近年来热门的神经网络,也有许多关于其可解释性的研究。