机器学习基础知识—贝叶斯分类器(1)

2021年11月13日 18:05 · 阅读 495

「这是我参与11月更文挑战的第13天，活动详情查看：2021最后一次更文挑战」

看天气打网球是一个经典案例，也就是根据天气情况作出一个是否去网球的决策，其实对我们来说看天气来决定是否去打网球并不是什么难事，不过要是想让这个决策过程让机器学会，也就是不那么简单了。首先去不去打网球是一个随机事件，可能去也可能不去，不过去不去打网球除了主观意愿，还要看看天气这样客观条件，在天气好情况去打网球概率就比较大。

先验

先验概率（prior probability）是指根据以往经验和分析得到的概率，反映了在实际观察之前对某种状态的预期。

例如在南方在冬季出现下雪概率要远远小于北方天气
例如对于上年龄人，当发生头痛时候，可能会怀疑其患有高血压的疾病

那么回到看天气打网球这件事上，对于北方冬天因为雨雪天气比较多，而且室外风也比较大，所以通常认为打网球概率比较小。这就是先验概率。

\sum_{i=1} P(y_i) = 1

不过先验是具有一个局限性的，先验局限性体现其精准性和灵活性上，例如对于一个随机实现，先验概率总是一成不变，例如只要在南方就会几乎不会下雪的推测。而且如果先验概率是均匀的，那么规则效果不佳。

特征空间

在先验中，信息相对比较少，我们希望获取更多信息更新预测。所以我们引入特征，通过观察数据特征获取更多信息，这些特征帮助我们更新先验。

后验概率

后验概率，也就是在给定了观测向量 x，某个特定类别的概率 $p(y|x)$

贝叶斯定理

p(y|x) = \frac{p(x|y)p(y)}{p(x)}

最大后验概率

基于最大后验概率如果进行决策，最大后验概率的类别作为预测结果

\hat{y} = \argmax_i P(y_i|x)

if\, P(y_0|x) < P(y_1|x) \, \hat{y} = y_1\\ if\, P(y_0|x) > P(y_2|x) \, \hat{y} = y_0

这里 $y_1$ 代表去打网球,而 $y_0$ 表示不去打网球，让计算出后验概率 $P(y_0|x) < P(y_1|x)$ 那么推测概率就是去打网球的概率。

风险评估

其实我们每次都是给出出每种可能(类别)一个概率，例如对于是否去打网球，那么就会计算出两个概率 $P(y_1|x)$ 这里简单假设 $y_1$ 是去打网球，如果决策为 $y_1$ 那么 $P(err|x) = P(y_0|x)$ 否则犯错概率为 $P(y_1|x)$

P(err|x) =\min([P(y_0|x),P(y_1|x)])

如全概率公式，往往作为"由因求果"问题中的"因"出现的概率。在贝叶斯统计推断中，不确定数量的先验概率分布是在考虑一些因素之前表达对这一数量的置信程度的概率分布。 ... 未知的数量可以是模型的参数或者是潜在变量。