2 PAC学习框架 （page 23 24）

定理2.2 学习界-有限H，不一致情形

设 $H$ 为有限假设集。然后，对于任何 $δ>0$ ，概率至少为 $1−δ$ 、 以下不等式成立：

证明设$h_1，…，h_{|h|}$为 $H$ 的元素。使用联合边界并将推论2.2应用于每个假设得出：

• 将右侧设置为等于$δ$即完成验证
  因此，对于有限假设集 $H$ ，

如前所述，$log_2 | H |$可以解释为表示 $H$ 所需的位数。这里可以做一些类似于在一致情况下对泛化边界所做的评论：更大的样本大小 $m$ 保证更好的泛化，并且边界随着 $|H|$ 增加而增加，但只是对数增加。但是，这里的界限是 $\frac{log2 |H|}{m}$ 的一个不太有利的函数；它随该项的平方根而变化。这不是一个很小的代价：对于固定的 $|H|$，要获得与一致情况相同的保证，需要二次更大的标记样本。

注意，界限表明在减少经验误差和控制假设集的大小之间寻求权衡：较大的假设集会受到第二项的惩罚，但可能有助于减少经验误差，即第一项。但是，对于类似的经验误差，它建议使用较小的假设集。这可以看作是以奥卡姆的神学家威廉命名的所谓奥卡姆剃刀原理的一个例子：多元性不应该在没有必要的情况下被假定，也可以重新表述为，最简单的解释是最好的。在这种情况下，它可以表示为：在所有其他条件相同的情况下，假设集越简单（越小）越好。

2.4 概论

在这一节中，我们将考虑与学习场景相关的几个重要问题，为了简单起见，我们省略了前面章节的讨论。

2.4.1 确定性情景与随机情景

在监督学习的最一般场景中，分布$D$定义在$X×Y$上，训练数据是一个根据$D$以i.i.d.标记的样本$S$:

学习问题是找到一个泛化误差很小的假设 $h∈ H$，

这种更一般的情况称为随机情况。在此设置中，输出标签是输入的概率函数。随机场景捕获了许多实际问题，其中输入点的标签不是唯一的。例如，如果我们试图根据一个人的身高和体重形成的输入对来预测性别，那么标签通常不会是唯一的。对于大多数配对，男性和女性都是可能的性别。对于每个固定对，都有一个标签为男性的概率分布。
PAC学习框架对这种设置的自然扩展被称为不可知的PAC学习。