计算学习理论

8 学习的运行时间 到目前为止，我们在书中研究了学习的统计视角，即学习需要多少样本。换句话说，我们专注于信息学习所需的数量。但是，在考虑自动化学习时，计算资源在确定任务的复杂性方面也起着主要作用：即执

6    VC维 在前一章中，我们将 $ERM_\mathcal H$ 规则的误差分解为近似误差和估计误差。近似误差取决于我们的先验知识（通过选择假设类别 $\mathcal H$ 反映）与潜在未知分

7 非均匀可学习性   到目前为止，在书中讨论的 PAC 可学性的概念允许样本大小取决于准确性和置信度参数，但在标记规则和底层数据分布方面，他们是一致的。因此，在这方面可学习的类是有限的(它们必须有一

5    比亚斯-复杂性交易在第2章中，我们看到，除非有人小心，否则训练数据可能会误导学习者，并导致过拟合。为了克服这个问题，我们限制搜索空间一些假设类 $\mathcal{H}$ 这样的假设类可以被

4 一致收敛性学习 我讨论过的第一个学习模型是PAC模型。在第二章节我们已经证明了在可实现性假设下，任何有限的假设性类都是PAC可学习的。在这一章中我们将开发一个通用的工具，一致收敛，并应用它来去证明

3    一种形式化的学习模型 在本章中，我们定义了我们的主要的形式化学习模型—PAC学习模型及其扩展。我们将在第七章中考虑可学习性的其他概念。 3.1    PAC学习 在前一章中，我们已经表明，对

1    介绍 这本书的主题是自动学习，或者，我们更经常称之为机器学习。也就是说，我们希望对计算机进行编程，以便它们能够从可用的输入中“学习”。大致来说，学习就是把经验转化为专长或知识的过程。学习算法

2    温和的开始 让我们从展示如何在相对简化的环境中实现成功的学习开始我们的数学分析。想象一下，你刚刚到达一个太平洋小岛。你很快就会发现木瓜是当地饮食中的重要成分。然而，你以前从未品尝过木瓜。你必