7 非均匀可学习性

  到目前为止，在书中讨论的 PAC 可学性的概念允许样本大小取决于准确性和置信度参数，但在标记规则和底层数据分布方面，他们是一致的。因此，在这方面可学习的类是有限的(它们必须有一个有限的vc维，如定理6.7所述)。在本章中，我们将考虑更轻松、更弱的可学性概念。我们讨论这些概念的有用性，并提供使用这些定义可学习的概念类的特征。

  我们通过定义“非均匀可学习性”的概念开始讨论，该概念允许样本大小取决于与学习者进行比较的假设。然后我们提供了非均匀可学习性的特征，并证明非均匀可学性是对不可知论的 PAC 可学性的严格放宽。我们还证明了非均匀可学性的一个充分条件是 $\mathcal H$ 是假设类的一个可数并集，每个类都具有一致收敛性。这些结果将在第7.2节中通过引入一个新的学习范式来证明，该范式称为结构风险最小化( SRM )。在第7.3节中，我们为可数假设类指定 SRM 范式，它产生最小描述长度( MDL )范式。MDL 范式为一种被称为奥卡姆剃刀的归纳法哲学原理提供了一种形式的论证。接下来，在7.4节中，我们将一致性作为学习性的一个更弱的概念来介绍。最后，我们讨论了可学习性的不同概念的意义和有用性。

7.1 非均匀可学性

“非均匀可学性”允许样本大小对于学习者竞争的不同假设是不均匀的。我们说一个假设 $h$ 与另一个假设 $h^\prime$ 竞争 $(\epsilon,\delta)$ ，其概率大于 $(1-\delta)$ ，

在 PAC 可学习性中，“竞争力”的概念不是很有用，因为我们正在寻找一个具有绝对低风险的假设（在可实现的情况下）或与我们类中的假设（在不可知的情况下）实现的最小风险相比具有低风险的假设。因此，样本大小仅取决于准确度和置信度参数。然而，在非均匀可学习性中，我们允许样本大小的形式为 $m_\mathcal H(\epsilon,δ,h)$；也就是说，这也取决于我们与之竞争的对手 $h$。正式地，

定义7.1

如果存在一个学习方法 A 和一个函数 $m_\mathcal H^{NUL}:(0,1)^2\times \mathcal H\to \mathbb N$ 以至于对所有$\epsilon,\delta \in (0,1)$ 和所有 $h\in \mathbb H$,如果$m\ge m_\mathcal H^{NUL}(\epsilon,\delta,h)$则对于每个分布D，对$S\backsim D^m$的选择概率至少为$1-\delta$。则假设集 $\mathcal H$ 是非均匀可学的。它认为

在这一点上，回顾不可知 PAC 可学习性的定义（定义3.3）可能是有用的：

如果存在学习算法 A 和一个函数 $m_\mathcal H:(0,1)^2\to \mathbb N$以至于对所有 $\epsilon,\delta \in (0,1)$ 和所有分布 D,如果 $m\ge m_\mathcal H(\epsilon,\delta)$，对$S\backsim D^m$的选择概率至少为$1-\delta$。那么假设集 $\mathcal H$ 是不可知 PAC 可学的，它认为

注意，这意味着对于所有 $h\in H$

在这两种类型的可学习性中，我们要求输出假设将与类中的所有其他假设竞争 $(\epsilon,\delta)$ 。但这两个可学习性概念之间的区别在于，样本大小是否取决于 $A(S)$ 误差比较的假设。请注意，非均匀可学习性是不可知 PAC 可学习性的放宽。也就是说，如果一个类是不可知的 PAC 可学习的，那么它也是非均匀可学习的。

7.1.1 非均匀可学习性的表征

  我们现在的目标是描述非均匀可学习性。在前一章中，我们发现了PAC可学习类的一个清晰的特征，通过证明一类二元分类器是不可知的 PAC 可学习的，当且仅当其维数是有限的。在下面的定理中，我们发现了非均匀可学习类的一个不同特征，用于二元分类任务。

定理 7.2 二元分类器的假设类 $\mathcal H$ 是非均匀可学习的当且仅当它是不可知PAC可学习假设类的可数并集。

定理7.2的证明依赖于以下独立利益的结果：
理论7.3 设 $\mathcal H$ 是一个假设类，可以写成假设类的可数并集，$\mathcal H=\bigcup _{n∈N}\mathcal H_n$，其中每个 $\mathcal H_n$ 都具有一致收敛性。然后，它是非均匀可学习的。
回想一下，在第4章中，我们已经证明了一致收敛对于不可知PAC的可学习性是足够的。理论7.3将此结果推广到非均匀可学习性。下一节将通过引入一种新的学习范式来证明这个定理。现在我们来证明定理7.2。

定理7.2的证明

首先假设 $\mathcal H=\bigcup _{n∈N}\mathcal H_n$ ,每个 $\mathcal H_n$ 都是不可知PAC可学习的。利用统计学习的基本定理，证明了每个 $\mathcal H_n$ 都具有一致收敛性。因此，使用定理7.3.我们认为 $\mathcal H$ 是非均匀可学的。
  对于另一个方向，假设$\mathcal H$的非均匀可学习可以使用某种算法A。对于所有$n\in N$、 使$\mathcal H_n=\{h\in \mathcal H:m_{\mathcal H}^{NUL}(1/8,1/7,h)\le n\}$ 。显然，$\mathcal H=\bigcup _{n∈N}\mathcal H_n$。此外，使用$m_{\mathcal H}^{NUL}$的定义，我们知道对于任何分布 $D$ 满足 $H_n$ 可实现性假设，在 $S\sim D^n$ 上的概率至少为 $6/7$ 的情况下，我们得到了$L_D(A(S))\le 1/8$. 利用统计学习的基本定理，这意味着 $\mathcal H_n$ 的VC维数必须是有限的，因此$\mathcal H_n$是不可知 PAC 可学习的。
  下面的例子表明，非均匀可学习性是不可知PAC可学习性的严格放宽；也就是说，有一些假设类是非均匀可学习的，但不是不可知PAC可学习的。

例7.1

考虑实例域为 $X= \mathbb R$ 的二元分类问题。对于所有 $n∈\mathbb N$ 设 $\mathcal H_n$ 为 $n$ 次多项式分类器类；也就是说，$\mathcal H_n$ 是形式为 $h(x)=sign(p(x))$ 的所有分类器的集合，其中 $p:R\to R$ 是 $n$ 次多项式。设$\mathcal H=\bigcup _{n\in \mathbb N}\mathcal H_n$,因此，$\mathcal H$ 是 $R$ 上所有多项式分类器的类。很容易验证 $VCdim(\mathcal H)=\infty$ 而 $VCdim(\mathcal H_n)=n+1$ (参见练习12).因此，$\mathcal H$ 不是PAC可学习的，而根据定理7.3，$\mathcal H$ 是非均匀可学习的。

7.2 结构风险最小化

到目前为止，我们已经通过指定 $\mathcal H$ 类假设对我们的先验知识进行了编码，我们认为 $\mathcal H$ 类假设对于手头的学习任务来说是一个很好的预测因子。表达我们先前知识的另一种方式是通过指定 $\mathcal H$ 内对假设的偏好。在结构风险最小化（SRM）范式中，我们首先假设 $\mathcal H$ 可以写成 $\mathcal H=\bigcup _{n\in \mathbb N}\mathcal H_n$ 然后指定权重函数，$w:N\to [0,1]$，它为每个假设类指定了一个权重，$\mathcal H_n$ ,使得权重越高，反映出对假设类的偏好越强。在本节中，我们将讨论如何利用这些先验知识进行学习。在下一节中，我们将描述几个重要的加权方案，包括最小描述长度。

具体地说，假设 $\mathcal H$ 是一个假设类，可以写成 $\mathcal H=\bigcup _{n\in \mathbb N}\mathcal H_n$ 。例如， $\mathcal H$ 可以是所有多项式分类器的类，其中每个 $\mathcal H_n$ 是 $n$ 次多项式分类器的类（参见示例7.1）。假设对于每个 $n$ ，类 $\mathcal H_n$ 具有一致收敛性（见第4章中的定义4.3），并具有样本复杂度函数 $m^{UC}_{\mathcal H_n}(\epsilon,\delta)$ 让我们也定义函数 $\epsilon_n :\mathbb N\times(0,1)\to (0,1)$ 由

换句话说，我们有一个固定的样本量 $m$ ，我们感兴趣的是，通过使用 $m$ 个示例样本，经验风险和真实风险之间的差距的最低可能上界。
从一致收敛和$\epsilon_n$的定义可以看出，对于所有 $m$ 和 $δ$ ，概率至少为 $1− δ$ 在 $S\sim D^M$ 上的选择我们有

  设 $w:N\to [0,1]$ 是这样一个函数 $\sum^\infty_{n=1}w(n)\le 1$ .我们将 $w$ 称为假设类$\mathcal H_1、\mathcal H_2\cdot\cdot\cdot\cdot$上的权重函数。。这样的权重函数可以反映学习者对每个假设类的重要性，或者不同假设类的复杂性的某种度量。如果 $\mathcal H$ 是 $N$ 个假设类的有限并集，则可以简单地将相同的权重 $1/N$ 分配给所有假设类。这种相等的权重不对应于任何假设类别的先验偏好。当然，如果一个人认为（作为先验知识）某个假设类更可能包含正确的目标函数，那么应该为其分配更大的权重，以反映该先验知识。当 $H$ 是假设类的（可数）无限并集时，统一加权是不可能的，但许多其他加权方案可能会起作用。例如，可以选择 $w(n)=\frac{6}{π^2n^2}$ 或 $w(n)=2^{−n}$ 。在本章后面，我们将提供另一种使用描述语言定义权重函数的方便方法。
  SRM规则遵循“界限最小化”方法。这意味着范式的目标是找到一个假设，使真实风险的某个上限最小化。SRM规则希望最小化的界在以下定理中给出。

定理7.4

设 $w:N\to [0,1]$ 是这样一个函数 $\sum^\infty_{n=1}w(n)\le 1$ .设 $\mathcal H$ 是一个假设类，可以写成 $\mathcal H=\bigcup _{n\in \mathbb N}\mathcal H_n$ ，其中对于每个 $n$ ，$\mathcal H_n$满足样本复杂度函数 $m^{UC}_{\mathcal H_n}(\epsilon,\delta)$ 的一致收敛性。让 $\epsilon_n$ 如等式（7.1）中所定义。然后，对于每个 $δ\in(0,1)$ 和分布 $D$ ，概率至少为 $1−\delta$ 关于$S\sim D^m$的选择，以下界限（同时）对所有 $n\in N$ 和 $h\in \mathcal H_n$ 保留。

因此，对于每个 $δ\in(0,1)$ 和分布 $D$ ，概率至少为 $1−\delta$ 他认为

证明

对于每个 $n$ ，定义 $\delta_n=w(n)\delta$ 。应用以方程（7.2）中给出的速度对所有 $n$ 保持一致收敛的假设，我们得到，如果我们预先固定 $n$ ，则概率至少为 $1−δ$ 的选择 $S\sim D^m$。

在 $n=1,2,\cdot\cdot\cdot\cdot，$ 上应用并定界。，我们得到的概率至少为 $1−\sum_n\delta_n=1−δ\sum_nw(n)\ge 1−\delta$ 前面的公式适用于所有 $n$ ，这就是我们的证明。
表示

然后方程（7.3）意味着

SRM范式搜索最小化该界限的h，如以下伪代码中所述：

结构风险最小化（SRM） 先前知识： $\mathcal H=\bigcup_n\mathcal H_n$ 其中 $\mathcal H_n$ 与 $m^{UC}_{\mathcal H_n}w:\mathbb N\to[0,1]$ 一致收敛 其中 $\sum_nw(n)\le 1$ 定义：$\epsilon_n$ 如等式(7.1)所示，$n(h)$ 如等式(7.4)所示 输入：训练集 $S\sim \mathcal D^m$,置信度 $\delta$ 输出：$h\in argmin_{h\in\mathcal H}[L_S(h)+\epsilon_{n(h)}(m,w(n(h))\cdot\delta)]$

与前几章中讨论的ERM范式不同，我们不再只关心经验风险 $L_S(h)$，而是为了减少估计误差，我们愿意将我们对低经验风险的一些偏见与对 $\epsilon_{n(h)}(m,w(n(h))\cdot\delta)$ 较小的类别的偏见进行交换。
接下来，我们证明了SRM范式可以用于每个类的非均匀学习，这是一致收敛的假设类的可数并集。

定理7.5

设 $\mathcal H$ 是一个假设类，使得 $\mathcal H=\bigcup_{n\in\mathbb N}\mathcal H_n$ ，其中每个 $\mathcal H_n$ 具有样本复杂度$m^{UC}_{\mathcal H_n}$的一致收敛性。让 $w:N\to[0,1]$ 使得 $w(n)=\frac{6}{n^2π^2}$ 。然后，使用SRM规则和速率，$\mathcal H$ 是非均匀可学习的。

证明

设 $A$ 为关于加权函数 $w$ 的SRM算法。对于所有$h\in H$,$\epsilon$ 和 $\delta$ ,设 $m\ge m^{UC}_{\mathcal H_{n(h)}}$ 。利用 $\sum_nw(n)=1$ 的事实，我们可以应用定理7.4得到，概率至少为 $1−δ$ 的选择 $S\sim \mathcal D^m$，我们每个 $h^\prime\in\mathcal H$ 都有，

上述情况尤其适用于SRM规则返回的假设A。根据SRM的定义，我们得到

最后，如果 $m\ge m^{UC}_{\mathcal H_{n(h)}} (\epsilon/2,w(n(h)\delta)$ 然后明确地是 $\epsilon_{n(h)}(m,w(n(h))\delta)\le \epsilon/2$ .另外，从每个 $\mathcal H_n$ 的一致收敛性出发，我们得到了概率大于 $1-δ$ ,

结合前面的所有结果，我们得到 $L_\mathcal D(A(S))\le L_{\mathcal D}(h)+\epsilon$ ，这就是我们的证明。

注意前面的定理也证明了定理7.3

备注7.2

（非一致可学习性没有免费午餐）我们已经证明，有限 VC 维类的任何可数并集都是非一致可学习的。结果表明，对于任何无限域集$X$，$X$上所有二值函数的类都不是有限维类的可数并。我们将此索赔的证明留作（非平凡的）练习（参见练习5）。因此，在某种意义上，非均匀学习也适用于非免费午餐定理：即，只要域不是有限的，就所有确定性二元分类器而言，不存在非均匀学习者（尽管对于每一个这样的分类器，都存在一个学习它的简单算法——关于只包含该分类器的假设类的ERM）。

将定理7.5中给出的非均匀可学习性结果与不可知 PAC 单独学习任何特定HN的任务进行比较是有趣的。非均匀 $\mathcal H$ 类学习者的先验知识或偏见较弱——它在整个 $\mathcal H$ 类中搜索模型，而不是专注于一个特定的 $\mathcal H_n$ 。先验知识弱化的代价是与任何特定 $h\in \mathcal H$ 竞争所需的样本复杂性的增加。对于这一差距的具体评估，考虑零一损失的二元分类任务。假设对于所有n，$VCdim（\mathcal H_n）=n$。由于 $m^{UC}_{\mathcal H_{n(h)}}(\epsilon,\delta)=C\frac {n+log(1/\delta)}{\epsilon^2}$（其中C是定理6.8中出现的常数），一个简单的计算表明

也就是说，将学习者的先验知识从包含目标 $h$ 的特定 $\mathcal H_n$ 放宽到可数并集的成本取决于 $h$ 所在的第一个类的索引。该成本随着类别指数的增加而增加，这可以解释为反映了知道一个良好的优先顺序的价值在 $\mathcal H$。

7.3 最小描述长度和奥卡姆剃刀理论

设 $\mathcal H$ 为可数假设类。然后，我们可以把 $\mathcal H$ 写成单态类的可数并，即 $\mathcal H=\bigcup _{n\in\mathbb N}\{h_n\}$ 。根据Hoeffding不等式（引理4.5），每个单态类都具有一致收敛性，收敛速度 $m^{UC}(\epsilon,\delta)=\frac {log(2/\delta)}{2\epsilon^2}$。因此，方程（7.1）中的函数 $\epsilon_n$ 变为 $\epsilon_n(m,\delta)=\frac {log(2/\delta)}{2m}$ ，SRM规则变为

等价地，我们可以将 $w$ 看作是从 $\mathcal H$ 到 $[0,1]$ 的函数，然后SRM规则变为

因此，在这种情况下，先验知识完全由我们分配给每个假设的权重决定。我们将更高的权重分配给我们认为更可能是正确的假设，在学习算法中，我们更喜欢权重更高的假设。

在本节中，我们将讨论定义 $\mathcal H$ 上的权函数的一种特别方便的方法，它是从对假设的描述长度中导出的。有了一个假设类，人们可能会想知道我们如何描述或表示类中的每个假设。我们自然会修改一些描述语言。这可以是英语，也可以是编程语言，或者是一些数学公式。在这些语言中的任何一种中，描述都由从固定字母表中提取的有限的符号（或字符）字符串组成。我们现在将这些概念正式化。

假设 $\mathcal H$ 是我们想要描述的假设类。固定一些有限的符号集 $\sum$（或“字符”），我们称之为字母表。对于具体性，我们设 $\sum=\{0,1\}$ 。字符串是从 $\sum$ 开始的有限符号序列；例如，$\sigma=(0,1,1,1,0)$ 是长度为$5$的字符串。我们用 $|\sigma|$ 表示字符串的长度。所有有限长字符串的集合表示为 $\sum^*$ . $\mathcal H$ 的描述语言是函数 $d:\mathcal H\to\sum^*$ , 将 $\mathcal H$ 的每个成员 $h$ 映射到字符串 $d(h)$ 。 $d(h)$ 称为“ $h$ 的描述”，其长度用 $|h|$ 表示。

我们将要求描述语言无前缀；也就是说，对于每个不同的 $h$ ，$h\prime$ , $d(h)$ 不是 $d(h\prime)$ 的前缀。也就是说，我们不允许任何字符串 $d(h)$ 恰好是任何更长字符串 $d(h\prime)$ 的第一个 $| h |$ 符号。无前缀字符串集合具有以下组合属性：
引理7.6（卡夫不等式） 如果 $S\subseteq \{0,1\}^*$ 是一组没有前缀的字符串,则

证明  定义 $S$ 成员的概率分布如下：反复投掷一枚无偏硬币，正面标记为 $0$ 和 $1$ ，直到结果序列为 $S$ 成员；在那一点上，停下来。对于每个 $\sigma \in S$ 、 设 $P(\sigma)$ 为该过程生成字符串 $\sigma$ 的概率。注意，因为 $S$ 是无前缀的，所以对于每个 $\sigma \in S$ 、 如果掷硬币的结果跟在 $\sigma$ 后面，那么只有当结果序列等于 $\sigma$ 时，我们才会停止。因此，对于每一个 $\sigma \in S$ ，我们得到了 $P(\sigma) =\frac {1}{2^{|σ|}}$。由于概率加起来最多为1，我们的证明就结束了。
根据卡夫不等式，假设类 $\mathcal H$ 的任何无前缀描述语言都会在该假设类上产生一个加权函数 $w$ 我们将简单地设置 $w(H)=\frac{1}{2^|h|}$ 。这一观察结果立即得出以下结论：

定理7.7

设 $\mathcal H$ 为假设类，设$d:\mathcal H\to \{0,1\}^∗$是 $\mathcal H$ 的无前缀描述语言。然后，对于每个样本大小 $m$ ，每个置信参数 $\delta>0$ ，每个概率分布 $\mathcal D$ ，概率大于 $1−\delta$ 关于 $S\sim \mathcal D^m$ 的选择我们有，

其中 $|h|$ 是 $d(h)$ 的长度。
证明 选择 $w(H)=\frac{1}{2^|h|}$ ，应用定理7.4中的$\epsilon_n(m,\delta)=\sqrt\frac{ln(2/\delta)}{2m}$，注意 $ln(2^{|h|})=|h| ln(2)<|h|$。
与定理7.4的情况一样，这一结果表明了 $\mathcal H$ 的学习范式——给定训练集 $S$ ，搜索假设 $h\in \mathcal H$的最小化界，$L_S(h)+\sqrt\frac{|h|+ln(2/\delta)}{2m}$ 。特别是，它建议权衡经验风险以节省描述长度。这就产生了最小描述长度的学习范式。

最小描述长度（MDL) 先前知识： $\mathcal H$ 是一个可数假设类 $\mathcal H$ 由 $\{0,1\}$ 上的无前缀语言描述 对于所有$h\in \mathcal H$，$\mid h\mid$ 是 $h$ 长度的表示 输入：训练集 $S\sim D^m$ ，置信度 $\delta$ 输出：$h\in argmin_{h\in\mathcal H}\bigg[L_S(h)+\sqrt {\frac {\mid h \mid+ln(2/\epsilon)}{2m}} \bigg].$

例7.3

让 $\mathcal H$ 是所有预测的类，可以使用一些编程语言，例如C++来实现。让我们使用在程序上运行 gzip 命令所获得的二进制字符串来表示每个程序(在字母表 $\{0,1\}$ 上生成一个无前缀的描述语言)。然后，$\mid h \mid$是在与 $h$ 相对应的 c++ 程序上运行时 gzip 输出的长度(以位为单位)。

7.3.1奥卡姆剃刀

定理7.7

这表明，如果两个假设共享相同的经验风险，那么描述较短的假设的真实风险可以以较低的值为界。因此，这一结果可以被视为传达了一个哲学信息：
简短的解释（即长度较短的假设）往往比冗长的解释更有效。
这是一个众所周知的原则，称为奥卡姆剃刀，以14世纪英国逻辑学家奥卡姆的威廉（William of Ockham）的名字命名，他被认为是第一个明确表达这一原则的人。在这里，我们为这一原则提供了一个可能的理由。定理7.7的不等式表明，假设 $h$ 越复杂（从描述时间越长的意义上讲），它必须适合的样本量就越大，以保证它具有较小的真实风险 $L_{\mathcal D}(h)$ 。

再看一眼，我们的奥卡姆剃须刀声称似乎有点问题。在奥卡姆剃刀原理在科学中通常被调用的上下文中，根据其复杂性被测量的语言是自然语言，而这里我们可以考虑任何抽象的抽象描述语言。假设我们有两个假设 $\mid h^\prime \mid$ 比$\mid h \mid$小得多。根据前面的结果，如果两者在给定的训练集 $S$ 上具有相同的误差，那么 $\mid h \mid$ 的真实误差可能远高于 $\mid h^\prime \mid$ 的真实误差，因此人们应该更喜欢 $\mid h^\prime \mid$ 而不是 $\mid h \mid$ 。然而，我们可以选择一种不同的描述语言，比如，将长度为$3$的字符串指定给 $h$ ，将长度为100000的字符串指定给 $h^\prime$ 。突然之间，人们似乎更喜欢 $h$ 而不是 $h^\prime$ 。但是这些都是相同的 $h$ 和 $h^\prime$ ，我们在两句话之前争论过 $h^\prime$ 应该更可取。这里的陷阱在哪里？

事实上，假设之间没有内在的普遍性差异。这里的关键方面是初始语言选择（或偏好于假设）和训练集之间的依赖顺序。正如我们从基本Hoeffding界（方程式（4.2））中所知道的，如果我们在看到数据之前做出任何假设，那么我们可以保证有一个相当小的估计误差项 $L_{\mathcal D}(h)\le L_S(h)+\sqrt\frac{ln(2/\delta)}{2m}$。选择一种描述语言（或者，等价地，对假设进行某种加权）是承诺假设的一种弱形式。我们并没有承诺一个假设，而是将我们的承诺分散到许多人当中。只要它是独立于训练样本进行的，我们的泛化界就成立。正如选择由样本评估的单个假设可以是任意的一样，选择描述语言也是任意的。

7.4可学习性的其他概念——一致性

通过允许所需样本量不仅取决于$\epsilon、\delta、h$，而且还取决于生成概率分布 $\mathcal D$（用于生成训练样本和确定风险）的基础数据，可以进一步放宽可学习性的概念。这种类型的性能保证是通过学习规则的一致性概念来实现的。

定义7.8（一致性）

设 $Z$ 是一个域集， $P$ 是 $Z$ 上的一组概率分布，$\mathcal H$ 是一个假设类。如果存在函数$m_{\mathcal H}^{CON}：(0,1)^2\times \mathcal H\times P\to\mathbb N$，则学习规则 $A$ 与 $H$ 和 $P$ 一致，对于每一个$\epsilon ，\delta \in(0,1)$，每个 $h\in H$、所有$\mathcal D \in P$、 如果$m\ge m^{NUL}_{\mathcal H}(\epsilon,\delta,h,\mathcal D)$，则概率至少为 $1−\delta$ 关于$S\sim \mathcal D^m$的选择，它认为

如果 $P$ 是所有分布的集合$^2$，我们说 $A$ 对于 $H$ 是普遍一致的。

当然，一致性的概念是对我们以前的非一致可学习性概念的放松。显然，如果一个算法非均匀地学习一个类 $\mathcal H$ ，它对该类也是普遍一致的。放松是严格的，因为有一致的学习规则，而这些规则不是成功的非一致学习者。例如，在后面的示例7.4中定义的算法Memory对于 $\mathbb N$ 上的所有二进制分类器类来说是一致的。但是，正如我们之前所讨论的，这个类不是非均匀可学习的。

示例7.4

考虑如下定义的分类预测算法记忆。该算法存储训练示例，并在给定测试点 $x$ 的情况下，预测训练样本中存在的所有标记的 $x$ 实例中的多数标签（如果训练集中没有出现 $x$ 实例，则预测一些固定的默认标签）。可以证明（参见练习6），对于每个可数域 $X$ 和有限标签集 $Y$（谈及零一损失），记忆算法是普遍一致的。
直观地说，记忆算法是否应该被视为学习者并不明显，因为它缺乏泛化的方面，即使用观察到的数据来预测看不见的例子的标签。事实上，对于任何可数域集合上的所有函数类来说，记忆是一个一致的算法，因此对一致性保证的有用性提出了质疑。此外，目光敏锐的读者可能会注意到我们在第 $2$ 章中介绍的导致过度拟合的“坏学习者”，实际上是记忆算法。在下一节中，我们将讨论可学习性的不同概念的意义，并根据可学习性的不同定义，重新讨论不免费午餐定理。

---

1.在文献中，一致性通常使用概率收敛（对应于弱一致性）或几乎确定收敛（对应于强一致性）的概念来定义。
2.通常，我们假设Z被赋予了一些子集的西格玛代数Ω, 我们所说的“所有分布”是指所有具有Ω 包含在其相关的可测量子集族中。

7.5讨论可学习性的不同概念

我们给出了可学习性的三个定义，现在讨论它们的有用性。通常情况下，数学定义的有用性取决于我们需要它做什么。因此，我们列出了通过定义可学习性来实现的几个可能目标，并根据这些目标讨论了不同定义的有用性。
所学假设的风险是什么？
推导学习算法性能保证的第一个可能目标是限制输出预测器的风险。在这里，PAC学习和非均匀学习都为我们提供了基于经验风险的学习假设的真实风险上界。一致性保证不提供这样的界限。然而，始终可以使用验证集（如第11章所述）来估计输出预测器的风险。
需要多少个例子才能与 $\mathcal H$ 中的最佳假设一样好？
当处理一个学习问题时，一个自然的问题是我们需要收集多少个例子来学习它。这里，PAC学习给出了一个清晰的答案。然而，对于非均匀学习和一致性，我们事先不知道学习 $\mathcal H$ 需要多少个示例。在非均匀学习中，这个数字取决于 $\mathcal H$ 中的最佳假设，在一致性中，它还取决于基本分布。从这个意义上说，PAC学习是唯一有用的可学习性定义。另一方面，我们应该记住，即使我们学习的预测器的估计误差很小，如果 $\mathcal H$ 具有较大的近似误差，其风险也可能很大。因此，对于“需要多少个例子才能与Bayes最优预测值一样好”的问题，即使是PAC担保也不能为我们提供清晰的答案。这反映了PAC学习的有用性依赖于我们先前知识的质量这一事实。
PAC保证还可以帮助我们理解，如果我们的学习算法返回一个具有很大风险的假设，我们下一步应该做什么，因为我们可以限制由估计误差引起的误差部分，从而知道有多少误差归因于近似误差。如果近似误差很大，我们知道应该使用不同的假设类。同样，如果一个非均匀算法失败，我们可以考虑不同的加权函数（子集）的假设。然而，当一致性算法失败时，我们不知道这是因为估计误差还是近似误差。此外，即使我们确定估算误差项存在问题，我们不知道要使估计误差变小还需要多少示例。
如何学习？如何表达先前的知识？
也许学习理论最有用的方面是回答“如何学习”的问题。PAC 学习的定义产生了学习的局限性（通过非免费午餐定理）和先验知识的必要性。它通过选择一个假设类为我们提供了一种清晰的编码先验知识的方法，一旦做出了这个选择，我们就有了一个通用的学习规则——ERM。非均匀可学习性的定义还提供了一种通过指定 $\mathcal H$ 假设（子集）的权重对先验知识进行编码的清晰方法。一旦做出此选择，我们又有了一个通用的学习规则–SRM。SRM 规则在模型选择任务中也有优势，因为先验知识是部分的。我们在第11章详细阐述了模型选择，这里我们给出了一个简单的例子。
考虑将一维多项式拟合到数据的问题；也就是说，我们的目标是学习一个函数 $h:\mathbb R\to\mathbb R$ ，作为先验知识，我们考虑多项式的假设类。然而，我们可能无法确定哪种程度的d会给我们的数据集带来最好的结果：小程度的 $d$ 可能无法很好地拟合数据（即，它会有很大的近似误差），而高程度的 $d$ 可能会导致过度拟合（即，它会有很大的估计误差）。在下文中，我们描述了将 $2$、$3$ 和 $10$ 次多项式拟合到同一训练集的结果。

很容易看出，经验风险随着程度的增大而降低。因此，如果我们选择 $H$ 作为所有 $10$ 次多项式的类，那么关于该类的 ERM 规则将输出一个 $10$ 次多项式，并且将过拟合。另一方面，如果我们选择的假设类别太小，例如，高达 $2$ 次的多项式，则 ERM 将遭受拟合不足（即，较大的近似误差）。相比之下，我们可以在所有多项式集合上使用 SRM 规则，同时根据 $\mathcal H$ 子集的阶数对其排序，这将产生一个三次多项式，因为其经验风险和其估计误差的界的组合最小。换句话说，SRM 规则使我们能够根据数据本身选择正确的模型。我们为这种灵活性付出的代价（除了相对于PAC学习关于最佳程度的估计误差略有增加外）是，我们事先不知道需要多少示例来与 $\mathcal H$ 中的最佳假设竞争。
与PAC可学习性和非均匀可学习性的概念不同，一致性的定义不会产生自然的学习范式或编码先验知识的方法。事实上，在许多情况下，根本不需要事先知道。例如，我们看到，即使是记忆算法（直观上不应称为学习算法），对于定义在可数域和有限标签集上的任何类，也是一致的算法。这暗示一致性是一个非常弱的要求。

我们应该选择哪种学习算法？
有人可能会说，即使一致性是一个较弱的要求，学习算法对于从 $\mathcal X$ 到 $\mathcal Y$ 的所有函数集也是一致的，这为我们提供了一个保证，即对于足够多的训练示例，我们将始终与贝叶斯最优预测器一样好。因此，如果我们有两个算法，其中一个是一致的，另一个是不一致的，我们应该选择一致的算法。然而，出于两个原因，这个论点是有问题的。首先，对于大多数“自然”分布，我们可能会在实践中观察到一致性算法的样本复杂度非常大，以至于在每种实际情况下，我们都无法获得足够的样本来享受这种保证。第二，对于任何一个从 $\mathcal X$ 到Y的函数的类来说，任何PAC或不一致的学习者都不难。具体地，考虑可数域 $\mathcal X$ ，有限标签集 $\mathcal Y$ 和假设类 $\mathcal H$ ，从 $\mathcal X$ 到 $\mathcal Y$ 的函数。我们可以使用以下简单技巧使 $\mathcal H$ 的任何非均匀学习者与从 $\mathcal X$ 到 $\mathcal Y$ 的所有分类器的类别一致：在接收到训练集后，我们将首先在训练集上运行非均匀学习者，然后我们将获得学习预测器的真实风险的界。如果这个界限足够小，我们就完成了。否则，我们返回到记忆算法。这一简单的修改使得算法在从 $\mathcal X$ 到 $\mathcal Y$ 的所有函数上都保持一致。由于任何算法都很容易保持一致，因此，仅仅出于一致性考虑，选择一种算法而不是另一种算法可能是不明智的。

7.5.1重新审视“无免费午餐”原则

回想一下，无免费午餐定理（第5章的定理5.1）意味着没有算法可以在无限域上学习所有分类器的类。相比之下，在本章中，我们看到记忆算法与可数无限域上的所有分类器类是一致的。为了理解为什么这两种说法并不相互矛盾，让我们首先回顾一下“没有免费午餐定理”的正式说法。

设 $\mathcal X$ 为可数无限域， $\mathcal Y =\{±1\}$。无免费午餐定理意味着：对于任何算法 $A$ 和训练集大小 $m$ ，存在 $\mathcal X$ 上的分布和函数 $h^*: \mathcal X\to\mathcal Y$ 、 如果将获得一个用 $h^*$ 标记的独立同分布训练示例样本$m$，然后 $A$ 可能返回一个错误更大的分类器。

记忆的一致性意味着：对于 $\mathcal X$ 上的每个分布和一个标记函数 $h^*: \mathcal X\to\mathcal Y$ 、 存在一个大小为 $m$ 的训练集（取决于分布和 $h^*$ ），这样，如果Memory接收到至少 $m$ 个示例，它很可能返回一个带有小错误的分类器。

我们看到，在无免费午餐定理中，我们首先确定训练集的大小，然后找到一个对这个训练集大小不利的分布和标签函数。相反，在一致性保证中，我们首先确定分布和标记函数，然后才找到一个训练集大小，足以学习这个特定的分布和标记函数。

7.6摘要

我们将非均匀可学习性引入PAC可学习性的松弛，将一致性引入非均匀可学习性的松弛。这意味着即使是无限维VC的类也可以学习，在某种较弱的可学习性意义上。我们讨论了可学习性的不同定义的有用性。
对于可数的假设类，我们可以应用最小描述长度方案，其中根据奥卡姆剃刀的原理，具有较短描述的假设是首选的。有趣的例子是我们可以在 C++ （或任何其他编程语言）中实现的所有预测因子的假设类，我们可以使用 MDL 方案来学习（非均匀）。
我们可以在 C++ 中实现的所有预测器都是一个功能强大的类，并且可能包含我们希望在实践中学习的所有知识。学习这门课的能力令人印象深刻，似乎这一章应该是本书的最后一章。事实并非如此，因为学习的计算方面：即应用学习规则所需的运行时。例如，为了实现所有 C++ 程序的 MDL 范例，我们需要对所有 C++ 程序进行详尽的搜索，这将永远持续下去。即使在所有 $1000$ 个比特的描述长度的所有C++程序的实现中，ERM范式都需要对 $2^{1000}$ 个假设进行穷举搜索。虽然学习该类的示例复杂性仅为 $\frac{1000+log(2/\delta)}{\epsilon^2}$ ，但运行时是 $\le 2^{1000}$ 这是一个巨大的数字——远大于可见宇宙中的原子数量。在下一章中，我们将正式定义学习的计算复杂性。在本书的第二部分中，我们将研究可以有效实施 ERM 或 SRM 方案的假设类。

7.7书目备注

我们对非均匀可学习性的定义与Blumer、Ehrenfeucht、Haussler&Warmuth（1987）中OCCAM算法的定义有关。SRM的概念源于（Vapnik&Chervonenkis 1974，Vapnik 1995）。MDL的概念是由于（Rissanen 1978，Rissanen 1983）。Vapnik（1995）讨论了SRM和MDL之间的关系。这些概念也与正规化概念密切相关（例如Tikhonov（1943））。
我们将在本书的第二部分详细介绍正则化。估计量一致性的概念可以追溯到 Fisher（1922）。我们对一致性的介绍遵循了 Steinwart&Christmann（2008），他还导出了几个不免费午餐定理。

7.8练习

1. 证明对于任何有限类 $\mathcal H$ 和任何描述语言 $d:H\to\{0,1\}^∗$, $\mathcal H$ 的VC维数最多为 $2sup\{|d(h)| :h\in \mathcal H\}$ –预测器的最大描述长度，单位为 $\mathcal H$ 。此外，如果 $d$ 是无前缀描述，则$VCdim(H)\le sup\{|d(h)| :h\in \mathcal H\}$ 。
2. 设 $\mathcal H=\{h_n:n\in \mathbb N\}$ 是二元分类的无限可数假设类。表明不可能为设 $\mathcal H$ 是二元分类的无限可数假设类。表明不可能为 $\mathcal H$ 中的假设分配权重，从而中的假设分配权重，从而

• 使用这些权重可以不均匀地学习 $\mathcal H$ 。即，加权函数 $w:\mathcal H\to [0,1]$ 应满足条件$\sum_{h\in \mathcal H}w(h)\le 1$.
• 权重将是单调不变的。也就是说，如果 $i<j$ ,那么 $w(h_i)\le w(h_j)$

3. • 考虑一个假设类 $\mathcal H= \bigcup_{n=1}^\infty$ ，其中每 $n\in \mathbb N$、 $\mathcal H_n$ 是有限的。求加权函数 $w:\mathcal H\to[0,1]$ 这样 $\sum_{h\in\mathcal H}w(h)\le 1$ 因此，对于所有 $h\in\mathcal H$、 $w(h)$ 由 $n(h)=min\{n:h\in\mathcal H_n\}$ 和 $|\mathcal H_{n(h)}|$ 确定。

• （*） 定义这样一个函数 $w$ ，当所有的 $\mathcal H_n$ 是可数的（可能是无限的）。

4. 设 $\mathcal H$ 为某个假设类。对于任何 $h\in\mathcal H$ 、 根据某种固定的描述语言，设 $| H |$ 表示 $\mathcal H$ 的描述长度。考虑MDL学习范例，在该范例中算法返回：

其中 $S$ 是尺寸为 $m$ 的样本。对于任何 $B>0$ ，设 $\mathcal H_B={h\in\mathcal H:|h|\le B}$ ，并定义

证明 $L_D(h_S)−L_D(h^∗_B)$ 上关于B的一个界，置信参数 $\delta$ 和训练集 $m$ 的大小。

• 注意：这种界限在文献中被称为oracle不等式：我们希望估计我们与参考分类器（或“oracle”）$h^∗_B$ 相比有多好

5. 在这个问题中，我们希望展示一个非均匀可学习性的非免费午餐结果：即，在任何无限域上，所有函数的类即使在松弛的非均匀学习变化下也不可学习。
   回想一下，如果存在函数$m^{NUL}_\mathcal H:(0,1)^2\times\mathcal H\to\mathbb N$，则算法 $A$ 非均匀地学习假设类 $\mathcal H$，对于每一个$\epsilon，\delta\in (0,1)$和对于所有$h\in\mathcal H$、 如果 $m≥ m^{NUL}_\mathcal H(\epsilon，\delta，\mathcal H)$ ，则对于每个分布 $\mathcal D$ ，概率至少为 $1− \delta$ 关于 $S\sim D^m$ 的选择，它认为

如果这样的算法存在，那么我们说 $\mathcal H$ 是非均匀可学习的。

1. 让 $A$ 成为 $\mathcal H$ 类的非均匀学习者。对于每个$n\in\mathbb N$ 定义 $\mathcal H^A_n=\{h\in\mathcal H:m^{NUL}(0.1,0.1,\mathcal H)\le n\}$。证明每一类$\mathcal H_n$VC维数都是有限的。
2. 证明如果一个类 $\mathcal H$ 是非均匀可学习的，那么就存在类 $\mathcal H_n$ ，使得 $\mathcal H=\bigcup _{n\in\mathbb N} \mathcal H_n$ ，对于所有 $n\in\mathbb N$、 VCdim $(\mathcal H_n)$ 是有限的。
3. 设 $\mathcal H$ 是一个打破无限集的类。然后，对于每个类序列 $(\mathcal H_n:n\in\mathbb N)$ 使得 $\mathcal H=\bigcup _{n\in\mathbb N} \mathcal H_n$，存在一些 $n$ 对于 VCdim $(\mathcal H_n)=\infty$.
   提示：给定一个类 $\mathcal H$ ，它打碎了一些无限集 $K$ ，以及一系列类$(\mathcal H_n:n\in\mathbb N)$ ，每个都有一个有限的VC维，从定义子集 $K_n\subseteq K$ 开始，对于所有 $n$ ，$|K_n|>VCdim(\mathcal H_n)$，对于任何$n\neq m$，$K_n\cap K_m=\empty$ . 现在，为每个这样的$Kn$ 选择一个函数$f_n:K_n\to \{0,1\}$所以没有$h\in\mathcal H_n$与域$K_n$ 上的 $f_n$ 一致。最后，定义$f:X\to\{0,1\}$通过组合这些 $f_n$ 并证明 $f\in(\mathcal H\setminus \bigcup_{n\in\mathbb N}\mathcal H_n)$。
4. 构造一个从单位区间$[0,1]$到$\{0,1\}$的函数类$\mathcal H_1$，它是非均匀可学习但不是PAC可学习的。
5. 构造一个从单位区间$[0,1]$到$\{0,1\}$的类函数$H_2$，它不是非均匀可学习的。
6. 在这个问题中，我们希望证明算法Memory对于任何可数域上的每一类（二值）函数都是一个一致的学习者。设 $\mathcal X$ 为可数域，$\mathcal D$ 为 $\mathcal X$ 上的概率分布。
7. 设$\{x_i:i\in\mathbb N\}$是$\mathcal X$元素的枚举，因此对于所有$i\le j$、 $\mathcal D(\{x_i\})\le \mathcal D(\{x_j\})$。证明

2. 给出任何 $\epsilon>0$ 证明存在$\epsilon_D>0$，从而

3. 证明对于所有 $\eta > 0$，如果 $n$ 对于所有 $i>n$ 是 $D(\{x_i\})<\eta$，那么对于所有 $m\in\mathbb N$,

4. 得出结论，如果 $\mathcal X$ 是可数的，那么对于 $\mathcal X$ 上的每个概率分布 $\mathcal D$，存在一个函数$m_\mathcal D:(0,1)\times(0,1)\to\mathbb N$ 那么对于每一个$\epsilon,\delta >0$ 如果$m>m_\mathcal D(\epsilon,\delta)$，

5. 证明了对于任何可数域上的每一类（二值）函数，Memory都是一个一致的学习者。