6 VC维

在前一章中，我们将 $ERM_\mathcal H$ 规则的误差分解为近似误差和估计误差。近似误差取决于我们的先验知识（通过选择假设类别 $\mathcal H$ 反映）与潜在未知分布的拟合程度。相反，PAC可学习性的定义要求估计误差在所有分布上一致有界。
我们当前的目标是找出哪些类 $\mathcal H$ 是PAC可学习的，并准确描述学习给定假设类的样本复杂性。到目前为止，我们已经看到有限类是可以学习的，但是所有函数的类（在无限大小的域上）不是。是什么让一门课可以学而另一门课不能学？无限大小的类是否可以学习，如果可以，是什么决定了它们的样本复杂性？
我们在本章的开头展示了无限类确实是可以学习的，因此，假设类的有限性不是可学习性的必要条件。然后，我们提出了一个非常清晰的特征家庭的可学习类的设置二值分类与零一损失。这一特征最早由弗拉基米尔·瓦普尼克（Vladimir Vapnik）和阿列克谢·切沃嫩基斯（Alexey Chervonenkis）于1970年发现，并依赖于一个称为瓦普尼克·切沃嫩基斯维度（VC维度）的组合概念。我们正式定义了VC维，给出了几个例子，然后阐述了统计学习理论的基本定理，它集成了可学习性、VC维、ERM规则和一致收敛的概念。

6.1：无限大小的类是可以学习的

在第四章中，我们看到有限类是可学习的，事实上，假设类的样本复杂性是由其大小的对数上界的。为了证明假设类的大小不是其样本复杂性的正确表征，我们首先给出一个可学习的无限大小假设类的简单示例。
例 6.1 设 $\mathcal H$ 是实线上的阈值函数集，即 $\mathcal H=\{h_a:a\in\mathbb R\}$ ，其中 $h_a:\mathbb R\to\{0,1\}$ 是 $h_a(x)=1_{[x<a]}$ 的函数。为了提醒读者，如果 $x<a$ 则 $\mathbb 1_{[x<a]}$ 为1否则为0。毫无疑问， $\mathcal H$ 是无穷大的尺寸。然而，下面的引理表明，在使用ERM算法的PAC模型中 $\mathcal H$ 是可学习的。
引理 6.1： 设 $\mathcal H$ 为前面定义的阈值类。 $\mathcal H$ 为PAC可学习，采用ERM规则，样本复杂度为 $m_\mathcal H(\epsilon,\delta)\le[\log(2/\delta)/\epsilon]$ 。

证明： 设 $a^*$ 是使假设 $h^*(x)=\mathbb 1_{x<a^*}$ 达到 $L_\mathcal D(h^*)=0$ 的阈值。设 $\mathcal D_x$ 是 $\mathcal X$ 域上的边际分布，同时设 $a_0<a^*<a_1$ 为：

\underset{x\sim\mathcal D_x}{\mathbb P}[x\in(a_0,a^*)]=\underset{x\sim\mathcal D_x}{\mathbb P}[x\in(a^*,a_1)]=\epsilon.

(如果是 $\mathcal D_x(-\infty,a^*)\le\epsilon$ ，我们设 $a_0=-\infty$ , $a_1$ 也一样)。给定一个训练集 $S$ ，设 $b_0=\max\{x: (x,1)∈\in S\}$ ， $b_1=\min\{x: (x,0)\in S\}$ (如果 $S$ 中没有例子为正，则设 $b_0=−\infty$ ;如果 $S$ 中没有例子为负，则设 $b_1=\infty$ )。设 $b_S$ 是一个阈值，对应于ERM假设 $h_S$ ，这意味着 $b_S\in(b_0, b_1)$ 。因此， $L_\mathcal D(h_S)\le\epsilon$ 的一个充分条件是 $b_0\ge a_0$ 和 $b_1\le a_1$ 同时存在。换句话说,

\underset{S\sim\mathcal D^m}{\mathbb P}[L_\mathcal D(h_S)>\epsilon]\le\underset{S\sim\mathcal D^m}{\mathbb P}[b_0<a_0\vee b_1>a_1],

使用联合边界，我们可以通过

\underset{S\sim\mathcal D^m}{\mathbb P}[L_\mathcal D(h_S)>\epsilon]\le\underset{S\sim\mathcal D^m}{\mathbb P}[b_0<a_0]+\underset{S\sim\mathcal D^m}{\mathbb P}[b_1>a_1].\qquad\qquad\qquad(6.1)

事件 $b_0<a_0$ 发生的当且仅当 $S$ 中的所有示例都不在该区间 $(a_0,a^∗)$ 中，其概率质量定义为 $\epsilon$ ，即:

\underset{S\sim\mathcal D^m}{\mathbb P}[b_0<a_0]=\underset{S\sim\mathcal D^m}{\mathbb P}[\forall(x,y)\in S,x\notin(a_0,a^*)]=(1-\epsilon)^m\le e^{-\epsilon m}.

因为我们假设 $m>\log(2/\delta)/\epsilon$ ，所以方程最大是 $δ/2$ 。同样，很容易看出 $\mathbb P_{S\sim\mathcal D^m}[b_1>a_1]\le\delta/2$ 。结合(6.1)式，我们得出了证明。

6.2 VC维

因此，我们看到，虽然 $\mathcal H$ 的有限性是易学性的充分条件，但不是必要条件。正如我们将要展示的，假设类的VC维属性给出了它的可学习性的正确表征。为了推动vc维的定义，让我们回忆一下No-FreeLunch定理(定理5.1)及其证明。在这里，我们已经证明，在不限制假设类的情况下，对于任何学习算法，对手都可以构建一个学习算法表现较差的分布，而另一个学习算法将在相同的分布上成功。为此，对手使用有限集 $C\subset\mathcal X$ ，并考虑集中在 $C$ 元素上的一系列分布。每个分布都是从 $C$ 到 $\{0,1\}$ 的“真”目标函数导出的。为了使任何算法失败，对手使用了从 $C$ 到 $\{0,1\}$ 的所有可能函数集中选择目标函数的能力。
当考虑假设类 $\mathcal H$ 的PAC可学习性时，对手被限制在构造某个假设 $h\in\mathcal H$ 达到零风险的分布。由于我们考虑的分布集中在 $C$ 的元素上，我们应该研究 $\mathcal H$ 在 $C$ 上的行为，这导致了下面的定义。
定义 6.2（ $\mathcal H$ 对 $C$ 的限制）： 设 $\mathcal H$ 是从 $\mathcal X$ 到 $\{0,1\}$ 的一类函数，以及设 $C\subset\{c_1,...,c_m\}$ 。 $\mathcal H$ 到 $C$ 的限制是从 $C$ 到 $\{0,1\}$ 的函数集，可以从 $\mathcal H$ 派生。

\mathcal H_C=\{(h(c_1),...,h(c_m)):h\in\mathcal H\},

其中，我们将从 $C$ 到 $\{0,1\}$ 的每个函数表示为 $\{0,1\}^{|C|}$ 中的向量。
如果 $\mathcal H$ 对 $C$ 的限制是从 $C$ 到 $\{0,1\}$ 的所有函数的集合，那么我们说 $\mathcal H$ 分解了集合 $C$ 。形式上：
定义6.3（分解）: 假设 $\mathcal H$ 类破坏了有限集合 $C\subset\mathcal X$ ,如果 $\mathcal H$ 到 $C$ 的限制是从 $C$ 到 $\{0,1\}$ 的所有函数的集合。这就是, $|\mathcal H_C|=2^{|C|}$ 。

例 6.2 设 $\mathcal H$ 是 $\mathbb R$ 上的阈值函数类。取一个集合 $C=\{c_1\}$ 。现在，如果我们取 $a=c_1+1$ ，那么我们有 $h_a(c_1)=1$ ，如果我们取 $a=c_1−1$ ，那么我们有 $h_a(c_1)=0$ 。因此， $\mathcal H_C$ 是从 $C$ 到 $\{0,1\}$ 的所有函数的集合， $\mathcal H$ 分解 $C$ 。现在取一个集合 $C=\{c_1,c_2\}$ ，其中 $c_1\le c_2$ 。没有 $h\in\mathcal H$ 可以解释标签 $(0,1)$ ，因为将标签0指定给 $c_1$ 的任何阈值也必须将标签0指定给 $c_2$ 。因此，并非所有从 $C$ 到 $\{0,1\}$ 的函数都包含在 $\mathcal H_C$ 中；因此， $C$ 不会被 $\mathcal H$ 分解。
回到对抗分布的构造，如无免费午餐定理（Theorem5.1）的证明，我们看到，每当某个集合 $C$ 被 $\mathcal H$ 打破时，对抗者不受 $\mathcal H$ 限制，因为他们可以基于从 $C$ 到 $\{0,1\}$ 的任何目标函数构造 $C$ 上的分布，同时仍然保持可实现性假设。这立即产生：
推论 6.4 设 $\mathcal H$ 是从 $\mathcal X$ 到 $\{0,1\}$ 的一类假设函数。设m为训练集大小。假设存在一组尺寸为 $2m$ 的集合 $C\subset\mathcal X$ ，其被 $\mathcal H$ 分解。那么，对于任何学习算法A，都存在一个分布 $\mathcal D$ 通过 $\mathcal X ×\{0,1\}$ 和一个预测器 $h\in\mathcal H$ ，使得 $L_\mathcal D(h)=0$ ，但至少有1/7通过 $S\sim\mathcal D^m$ 的概率使 $L_\mathcal D(A(S))\ge1/8$ 。
推论6.4告诉我们，如果 $\mathcal H$ 分解了某个大小为 $2m$ 的集合 $C$ ，那么我们就不能用 $m$ 的例子来学习 $\mathcal H$ 。直观地说，如果一个集合被 $\mathcal H$ 分解，我们收到一个样本，样本中包含了 $C$ 的一半实例，这些实例的标签就不会给我们提供关于 $C$ 中其余实例标签的信息——其余实例的所有可能标签都可以用 $\mathcal H$ 中的某个假设来解释。哲学上,

如果有人能解释每一种现象，他的解释就毫无价值。

这将直接引导我们定义VC维度。
定义 6.5（VC维）： 假设类 $\mathcal H$ 的VC维数表示为 $VC\dim(\mathcal H)$ ，是可被 $\mathcal H$ 分解的集合 $C\subset\mathcal X$ 的最大大小。如果 $\mathcal H$ 能分解任意大的集合，我们说 $H$ 有无穷维VC维。
因此，推论6.4的直接结果是：
定理 6.6： 设 $\mathcal H$ 是一类无穷维VC。那么， $\mathcal H$ 不是PAC可学习的。
证明： 因为 $\mathcal H$ 有一个无限维的VC，对于任何大小为 $m$ 的训练集，都存在一个大小为 $2m$ 的破碎集，并且该声明后面是推论6.4。
我们将在本章后面看到，反之亦然：有限维保证可学习性。因此，VC维度表征了PAC的可学习性。但是在深入研究更多的理论之前，我们首先展示几个例子。

6.3 例子

在本节中，我们计算了几个假设类的VC维数。为了证明 $VC\dim(\mathcal H)=d$ ，我们需要证明:
1.存在一组大小为 $d$ 的 $C$ ，被 $\mathcal H$ 分解。
2.尺寸为 $d+1$ 的每个集 $C$ 不会被 $\mathcal H$ 粉碎。

6.3.1 阈值函数

设 $\mathcal H$ 是 $\mathbb R$ 上的阈值函数类。回想一下例子6.2。回想一下例子6.2，其中我们已经证明，对于任意集 $C=\{c_1\}$ ， $\mathcal H$ 分解了 $C$ ；因此 $VC\dim(\mathcal H)\ge1$ 。我们还证明了对于任意集 $C=\{c_1,c_2\}$ ，其中 $c_1\le c_2$ ， $\mathcal H$ 不会分解 $C$ 。因此，我们得出结论： $VC\dim(\mathcal H)=1$ 。

6.3.2 间隔

设 $\mathcal H$ 是 $\mathbb R$ 上的区间类，即 $\mathcal H=\{h_{a,b}\in\mathbb R,a<b\}$ ，其中 $h_{a,b}:\mathbb R\to\{0,1\}$ 是一个像 $h_{a,b}=1_{x\in(a,b)}$ 的函数。取集合 $C=\{1,2\}$ 。然后， $\mathcal H$ 会分解 $C$ （确保您理解原因），从而 $VC\dim(\mathcal H)\ge2$ 。现在取一个任意的集合 $c=\{c_1,c_2,c_3\}$ ，并假定 $c_1\le c_2\le c_3$ 。然后，标签 $(1,0,1)$ 不能通过间隔获得，因此 $\mathcal H$ 不会分解 $C$ 。因此，我们得出结论， $VC\dim(\mathcal H)=2$ 。

6.3.3 轴对齐矩形

设 $\mathcal H$ 为轴对齐矩形的类别，形式上：

\mathcal H=\{h_{a_1,a_2,b_1,b_2}:a_1\le a_2 and b_1\le b_2\}

其中：

h_{(a_1,a_2,b_1,b_2)}(x_1,x_2)=\lgroup^{1\qquad a_1\le x_1\le a_2,b_1\le x_2\le b_2}_{0\qquad other}\qquad\qquad\qquad(6.2)

我们将在下面展示 $VC\dim(\mathcal H)=4$ 。为了证明这一点，我们需要找到一组被 $\mathcal H$ 分解的4个点，并证明没有一组5个点可以被 $\mathcal H$ 分解。找到一组被分解的4个点是很容易的（见图6.1）。现在，考虑任何集合 $C\subset\mathbb R^2$ 的5点。在 $C$ 中，取最左边的点（第一个坐标在 $C$ 中最小）、最右边的点（第一个坐标最大）、最低点（第二个坐标最小）和最高点（第二个坐标最大）。在不丧失一般性的情况下，表示 $C=\{c_1,...,c_5\}$ ，并让 $c_5$ 为未选择的点。现在，定义标签 $(1,1,1,1,0)$ 。通过轴对齐的矩形不可能获得此标签。实际上，这样的矩形必须包含 $c_1,...,c_4$ ；但在本例中，矩形也包含 $c_5$ ，因为其坐标在选定点定义的间隔内。因此， $C$ 不会被 $\mathcal H$ 分解，因此 $VC\dim(\mathcal H)=4$ 。

6.1.png

图 6.1 左：4个点被轴对齐的矩形分解。右：任何与轴对齐的矩形都不能将c5标记为0，将其余点标记为1。

6.3.4 有限类

设H为有限类。很明显，对于任何集合 $C$ ，我们都有 $|\mathcal H_C|\le|\mathcal H|$ ，因此如果 $|\mathcal H|<2^{|C|}$ 。这意味着 $VC\dim(\mathcal H)\le\log_2(|\mathcal H|)$ 。这表明有限类的PAC可学习性来自于有限VC维类的PAC可学习性的更一般陈述，我们将在下一节中看到。但是，请注意，有限类 $\mathcal H$ 的VC维数可以明显小于 $\log_2(|\mathcal H|)$ 。例如，对于某些整数，设 $\mathcal X=\{1,...,k\}$ ，并考虑阈值函数类（如在实例6.2中定义的）。那么， $|\mathcal H|=k$ ，但 $VC\dim(\mathcal H)=1$ 。由于 $k$ 可以任意大， $\log_2(|\mathcal H|)$ 和 $VC\dim(\mathcal H)$ 之间的间隙可以任意大。

6.3.5 VC维和参数个数

在前面的例子中，VC维度恰好等于定义假设类的参数数量。虽然这种情况经常发生，但并不总是如此。例如，考虑域 $\mathcal X=\mathbb R$ 和假设类 $\mathcal H=\{h_\theta:\theta\in\mathbb R\}$ ，其中 $h_\theta:\mathcal X\{0,1\}$ 由 $h_\theta(x)=\lceil0.5\sin(\theta x)\rceil$ 定义。可以证明 $VC\dim(\mathcal H)=\infty$ , 也就是说，永远都可以找到被 $\mathcal H$ 分解的点（见练习8）。

6.4 PAC学习的基本定理

我们已经证明了一类无穷维VC是不可学习的。相反的说法也是正确的，导致了统计学习理论的基本定理：
理论6.7（统计学习的基本定理）: 设 $\mathcal H$ 是从域 $\mathcal X$ 到 $\{0,1\}$ 的一类假设函数，损失函数为0−1损失。那么，以下是等效的：

1.H具有一致收敛性。
2.任何ERM规则都是成功的不可知PAC学习者。
3.H是不可知论的PAC。
4.H是PAC可学习的。
5.任何ERM规则都是成功的PAC学习者。
6.H有一个有限的VC维数。定理的证明将在下一节给出。
VC维度不仅表征了PAC的可学习性；它甚至决定了样本的复杂性。
理论6.8（统计学习的基本定理——定量版）: 设 $\mathcal H$ 是从域 $\mathcal X$ 到 $\{0,1\}$ 的一类假设函数，损失函数为0−1损失。假设 $vc\dim(\mathcal H)=d<\infty$ 。然后，存在绝对常数 $C_1$ 和 $C_2$ ，因此：
1.H具有样本复杂度的一致收敛性

C_1\frac{d+\log(1/\delta)}{\epsilon^2}\le m^{UC}_\mathcal H(\epsilon,\delta)\le C_2\frac{d+\log(1/\delta)}{\epsilon^2}

1. $\mathcal H$ 是不可知的PAC，可学习样本复杂度

C_1\frac{d+\log(1/\delta)}{\epsilon^2}\le m_\mathcal H(\epsilon,\delta)\le C_2\frac{d+\log(1/\delta)}{\epsilon^2}

1. $\mathcal H$ 是具有样本复杂性的PAC可学习的

C_1\frac{d+\log(1/\delta)}{\epsilon}\le m_\mathcal H(\epsilon,\delta)\le C_2\frac{d\log(1/\epsilon)+\log(1/\delta)}{\epsilon}

第28章给出了这个定理的证明。
注意6.3 我们阐述了二元分类任务的基本定理。类似的结果也适用于其他一些学习问题，如带有绝对损失或平方损失的回归。然而，这个定理并不适用于所有的学习任务。特别是，即使一致收敛性不成立，可学习性有时也是可能的（我们将在第13章练习2中看到一个例子）。此外，在某些情况下，ERM规则失败，但可通过其他学习规则学习。

6.5 证明理论6.7

我们已经在第4章中看到了 $1\to2$ 。含义 $2\to3$ 和 $3\to4$ 是微不足道的，所以含义 $2\to5$ 也是微不足道的。含义 $4\to6$ 和 $5\to6$ 来自于无免费午餐定理。难的是要证明 $6\to1$ 这一点。证据基于两个主要主张：

如果 $VC\dim(\mathcal H)=d$ ，则即使 $\mathcal H$ 可能是无限的，当将其限制为有限集 $C\subset\mathcal X$ 时，其“有效”大小 $|\mathcal H_C|$ 仅为 $O(|C|^d)$ 。也就是说， $\mathcal H_C$ 的大小随 $|C|$ 呈多项式而非指数增长。这一主张经常被提到阿萨尔引理，但Shelah和Perles也独立地陈述和证明了这一点。正式声明见下文第6.5.1节。
在第4节中，我们证明了有限假设类具有一致收敛性。在后面的第6.5.2节中，我们推广了这个结果，并证明了当假设类具有“小有效大小”时，一致收敛是成立的。所谓“小有效大小”，我们指的是 $|\mathcal H_C|$ 随 $|C|$ 多项式增长的类。

6.5.1 Sauer引理与增长函数

通过考虑 $\mathcal H$ 对有限个实例集的限制，我们定义了阴影的概念。在一组例子中，增长函数测量 $\mathcal H$ 的最大“有效”大小。正式地： 定义6.9（增长函数）: 设 $\mathcal H$ 为假设类。然后是 $\mathcal H$ 的增长函数，表示为 $\tau_\mathcal H:\mathbb N\to\mathbb N$ ，定义为

\tau_\mathcal H(m)=\max_{C\subset\mathcal X:|C|=m}|\mathcal H_C|.

换句话说， $\tau_H(m)$ 是大小为 $m$ 到 $\{0,1\}$ 的集合 $C$ 中不同函数的数目，可以通过将 $\mathcal H$ 限制为 $C$ 来获得。显然，如果 $VC\dim(\mathcal H)=d$ ，那么对于任何 $m\le d$ 我们有 $\tau_\mathcal H(m)=2^m$ 。在这种情况下， $\mathcal H$ 从 $C$ 到 $\{0,1\}$ 导出所有可能的函数。Sauer、Shelah和Perles独立提出的下列美丽引理表明，当 $m$ 变得大于VC维数时，增长函数随 $m$ 呈多项式而不是指数增长。
引理 6.10（Sauer-Shelah-Perles）: 设 $\mathcal H$ 是一个假设类， $VC\dim(\mathcal H)\le\infty$ 。那么，对于所有 $m$ ， $\tau_\mathcal H(m)\le\sum^d_{i=0}(\underset{i}{^m})$ 。特别是，如果 $m>d+1$ ，则 $\tau_\mathcal H(m)\le(em/d)^d$ 。

Sauer引理的证明 $^*$

为了证明引理，它足以证明以下更强的断言：对于任何 $C=\{c_1,...,c_m\}$ ，我们有

\forall\mathcal H,\qquad|\mathcal H_C|\le|\{B\subseteq C:\mathcal H分解B\}|.\qquad\qquad\qquad(6.3)

方程（6.3）足以证明引理的原因是如果 $VC\dim(\mathcal H)\le d$ 那么没有一个集合的大小大于被 $\mathcal H$ 粉碎的 $d$ ，因此

|\{B\subseteq C:\mathcal H分解B\}|\le\sum^{d}_{i=0}(\underset{i}{^m}).

当 $m>d+1$ 时，前面的右边最多为 $(em/d)^d$ （见附录A中的引理A.5）。
我们只剩下证明方程（6.3）了，我们使用归纳论点。对于 $m=1$ ，无论 $\mathcal H$ 是什么，等式（6.3）的两边都等于1或两边都等于2（空集总是被认为被 $\mathcal H$ 分解）。假设方程（6.3）适用于大小为 $k<m$ 的集合，让我们证明它适用于大小为 $m$ 的集合。固定 $\mathcal H$ 和 $C=\{c_1,...,c_m\}$ 。表示 $C'=\{c_2,...,c_m\}$ ，此外，定义以下两组：

Y_0=\{(y_2,...,y_m):(0,y_2,...,y_m)\in\mathcal H_C\vee(1,y_2,...,y_m)\in\mathcal H_C\},\\ 和\\ Y_1=\{(y_2,...,y_m):(0,y_2,...,y_m)\in\mathcal H_C\wedge(1,y_2,...,y_m)\in\mathcal H_C\}.

很容易验证 $|\mathcal H_C|=|Y_0|+|Y_1|$ 。此外，由于 $Y_0=\mathcal H_{C'}$ ，使用归纳假设（适用于 $\mathcal H$ 和 $C'$ ），我们得到

|Y_0|=|\mathcal H_{C'}|\le|\{B\subseteq C':\mathcal H分解B\}|=|\{B\subseteq C:c_1\notin B\wedge\mathcal H分解B\}|.

下来，将 $\mathcal H'\subseteq\mathcal H$ 定义为

\begin{aligned} \mathcal H' &=\{h\in\mathcal H:\exists h'\in\mathcal H s.t.(1-h'(c_1),h'(c_2),...,h'(c_m))\\ &=(h(c_1),h(c_2),...,h(c_m))\}, \end{aligned}

也就是说， $\mathcal H'$ 包含一对假设，它们在 $C'$ 上一致，在 $c_1$ 上不同。使用这个定义，很明显，如果 $\mathcal H'$ 破坏了集合 $B\subseteq C'$ ，那么它也分解了集合 $B\cup\{c_1\}$ ，反之亦然。结合 $Y_1=\mathcal H'_{C'}$ 和归纳假设（现在应用于 $\mathcal H'$ 和 $C'$ ），我们得到

\begin{aligned} |Y_1| &=|\mathcal H'_{C'}|\le|\{B\subseteq C':\mathcal H' 分解 B\}|=|\{B\subseteq C':\mathcal H' 分解 B\cup\{c_1\}\}|\\ &=|\{B\subseteq C:c_1\in B\wedge\mathcal H' 分解 B\}|\le|\{B\subseteq C:c_1\in B\wedge\mathcal H 分解 B\}|. \end{aligned}

总的来说，我们已经证明了这一点

\begin{aligned} |\mathcal H_C| &=Y_0|+|Y_1|\\ &\le|\{B\subseteq C:c_1\notin B\wedge\mathcal H 分解 B\}|+|B\subseteq C:c_1\in B\wedge\mathcal H 分解 B\}|\\ &=|\{B\subseteq C:\mathcal H 分解 B\}|, \end{aligned}

这就是我们的证明。

6.5.2 小有效尺寸类的一致收敛性

在这一节中，我们证明了如果H的有效尺寸很小，那么它就具有一致收敛性。正式地

定理 6.11: 设 $\mathcal H$ 为一类， $\tau_\mathcal H$ 为其增长函数。然后，对于每个 $\mathcal D$ 和每个 $\delta\in(0,1)$ ，概率至少为 $1−\delta$ 关于 $S\sim\mathcal D^m$ 的选择我们有

|L_\mathcal D(h)-L_S(h)|\le\frac{4+\sqrt{\log(\tau_\mathcal H(2m))}}{\delta\sqrt{2m}}.

在证明定理之前，让我们先总结定理的证明6.7
理论证明6.7： 证明了如果VC维数是有限的，则一致收敛性成立。我们将证明这一点

m^{UC}_\mathcal H(\epsilon,\delta)\le4\frac{16d}{(\delta\epsilon)^2}\log(\frac{16d}{(\delta\epsilon)^2})+\frac{16d\log(2e/d)}{(\delta\epsilon)^2}.

从Sauer引理中我们得到了 $m>d,\tau_\mathcal H(2m)\le(2em/d)^d$ 。结合定理6.11我们得到的概率至少为 $1−\delta$ ,

|L_S(h)-L_\mathcal D(h)|\le\frac{4+\sqrt{d\log(2em/d)}}{\delta\sqrt{2m}}.

为简单起见，假设 $\sqrt{d\log(2em/d)}\ge4$ ；因此,

|L_S(h)-L_\mathcal D(h)|\le\frac{1}{\delta}\sqrt{\frac{2d\log(2em/d)}{m}}.

为了确保前面的内容最多是 $\epsilon$ ，我们需要

m\ge\frac{2d\log(m)}{(\delta\epsilon)^2}+\frac{2d\log(2e/d)}{(\delta\epsilon)^2}

标准的代数运算（见附录A中的引理A.2）表明，前一项成立的充分条件是

m\ge4\frac{2d}{(\delta\epsilon)^2}\log(\frac{2d}{(\delta\epsilon)^2})+\frac{4d\log(2e/d)}{(\delta\epsilon)^2}.

注意 6.4: 我们在证明定理6.7中导出的 $m^{UC}_\mathcal H$ 的上界不是最紧的。在第28章中可以找到一个更严密的分析，得出定理6.8中给出的界限。

证明理论6.11: 我们将从展示这一点开始

\underset{S\sim\mathcal D^m}{\mathbb E}[\sup_{h\in\mathcal H}|L_\mathcal D(h)-L_S(h)|]\le\frac{4+\sqrt{\log(\tau_\mathcal H(2m))}}{\sqrt{2m}}.\qquad\qquad\qquad(6.4)

由于随机变量 $\sup_{h\in\mathcal H}|L_\mathcal D(h)-L_S(h)|$ 是非负的，因此定理的证明直接遵循前面使用马尔可夫不等式（见B.1节）的方法。
为了限制方程（6.4）的左侧，我们首先注意到，对于每一个 $h\in\mathcal H$ ，我们可以重写 $L_\mathcal D(h)=\mathbb E_{S'\sim\mathcal D^m}$ ，其中 $S'=z'_1,...,z'_m$ 是一个额外的独立且相同分布的样本。因此,

\underset{S\sim\mathcal D^m}{\mathbb E}[\sup_{h\in\mathcal H}|L_\mathcal D(h)-L_S(h)|]=\underset{S\sim\mathcal D^m}{\mathbb E}[\sup_{h\in\mathcal H}|\underset{S'\sim\mathcal D^m}{\mathbb E}L_{\mathcal S'}(h)-L_S(h)|].

三角形不等式的推广:

|\underset{S'\sim\mathcal D^m}{\mathbb E}[L_{S'}(h)-L_S(h)]|\le\underset{S'\sim\mathcal D^m}{\mathbb E}|L_{S'}(h)-L_S(h)|,

事实上，期望值的上确界小于期望值的上确界:

\sup_{h\in\mathcal H}\underset{S'\sim\mathcal D^m}{\mathbb E}|L_{S'}(h)-L_S(h)|\le\underset{S'\sim\mathcal D^m}{\mathbb E}\sup_{h\in\mathcal H}|L_{S'}(h)-L_S(h)|.

从形式上讲，前两个不等式源自Jensen不等式。结合我们所获得的一切:

\begin{aligned} \underset{S\sim\mathcal D^m}{\mathbb E}[\sup_{h\in\mathcal H}|L_\mathcal D(h)-L_S(h)|] &\le\underset{S,S'\sim\mathcal D^m}{\mathbb E}[\sup_{h\in\mathcal H}|L_{S'}(h)-L_S(h)|]\\ &=\underset{S,S'\sim\mathcal D^m}{\mathbb E}[\sup_{h\in\mathcal H}\frac{1}{m}|\sum^{m}_{i=1}(\ell(h,z'_i)-\ell(h,z_i))|].\qquad(6.5) \end{aligned}

右侧的期望值高于两个独立且分布相同的样本 $S=z_1,...,z_m$ 和 $S'=z'_1,...,z'_m$ 的选择。由于所有这 $2m$ 向量都是独立选择的且分布相同，如果我们用随机向量 $z'_i$ 的名称替换随机向量 $z_i$ 的名称，则不会发生任何变化。如果我们这样做，我们将得到 $-(\ell(h,z'_i)-\ell(h,z_i))$ 项，而不是方程式（6.5）中的 $(\ell(h,z'_i)-\ell(h,z_i))$ 项。因此，对于每个 $\sigma\in\{\pm1\}^m$ ，方程（6.5）等于

\underset{S,S'\sim\mathcal D^m}{\mathbb E}[\sup_{h\in\mathcal H}\frac{1}{m}|\sum^m_{i=1}\sigma_i(\ell(h,z'_i)-\ell(h,z_i))|]

因为这对每个 $\sigma\in\{\pm1\}^m$ 都成立，如果我们从 $\{\pm1\}$ 上的均匀分布中随机均匀地对 $\sigma$ 的每个分量进行采样，也成立，表示为 $U_\pm$ 。因此，等式（6.5）也等于

\underset{\sigma\sim U^m_{\pm}}{\mathbb E}\underset{S,S'\sim\mathcal D^m}{\mathbb E}[\sup_{h\in\mathcal H}\frac{1}{m}|\sum^m_{i=1}\sigma_i(\ell(h,z'_i)-\ell(h,z_i))|],

根据期望的线性，它也等于:

\underset{S,S'\sim\mathcal D^m}{\mathbb E}\underset{\sigma\sim U^m_{\pm}}{\mathbb E}[\sup_{h\in\mathcal H}\frac{1}{m}|\sum^m_{i=1}\sigma_i(\ell(h,z'_i)-\ell(h,z_i))|].

接下来，修复 $S$ 和 $S'$ ，让 $C$ 成为 $S$ 和 $S'$ 中出现的实例。那么，我们只能取 $h\in\mathcal H_C$ 的上确界。因此

\underset{\sigma\sim U^m_{\pm}}{\mathbb E}[\sup_{h\in\mathcal H}\frac{1}{m}|\sum^m_{i=1}\sigma_i(\ell(h,z'_i)-\ell(h,z_i))|]\\ =\underset{\sigma\sim U^m_{\pm}}{\mathbb E}[\max_{h\in\mathcal H_C}\frac{1}{m}|\sum^m_{i=1}\sigma_i(\ell(h,z'_i)-\ell(h,z_i))|]

固定一些 $h\in\mathcal H_C$ 并表示 $\theta_h\frac{1}{m}\sum^m_{i=1}\sigma_i(\ell(h,z'_i)-\ell(h,z_i))$ 。因为 $\mathbb E[\theta_h]=0$ 和 $\theta_h$ 是自变量的平均值，每个自变量取 $[−1,1]$ ，我们通过Hoeffding不等式得到，对于每个 $\rho>0$ ，

\mathbb P[|\theta_h|>\rho]\le2\exp(-2m\rho^2).

应用 $h\in\mathcal H_C$ 上的并集界，我们得到了任意 $\rho>0$ 的并集界，

\mathbb P[\max_{h\in\mathcal H_C}|\theta_h|>\rho]\le2|\mathcal H_C|\exp(-2m\rho^2).

最后，附录A中的引理A.4告诉我们，前面的引理

\mathbb E[\max_{h\in\mathcal H_C}|\theta_h|]\le\frac{4+\sqrt{\log(|\mathcal H_C|)}}{\sqrt{2m}}.

结合 $\tau_\mathcal H$ 的定义，我们已经证明

\underset{S\sim\mathcal D^m}{\mathbb E}[\sup_{h\in\mathcal H}|L_\mathcal D(h)-L_S(h)|]\le\frac{4+\sqrt{\log(\tau_\mathcal H|\mathcal H_C|)}}{\sqrt{2m}}.

6.6 摘要

学习理论的基本定理描述了使用VC维的二元分类器类的PAC可学习性。一个类的VC维是一个组合属性，表示该类可以粉碎的最大样本量。基本定理表明，一个类是PAC可学习的当且仅当其VC维数是有限的，并规定了PAC学习所需的样本复杂性。该定理还表明，如果一个问题是完全可学习的，则一致收敛成立，因此使用ERM规则该问题是可学习的。

6.7 书目注释

VC维数的定义及其与可学习性和一致收敛性的关系是Vapnik& Chervonenkis（1971）开创性工作的结果。与PAC可学习性定义相关的是Blumer、Ehrenfeucht、Haussler& Warmuth（1989）。
提出了VC维的几个推广。例如，脂肪破碎维度表征了一些回归问题的可学习性（卡恩斯、夏皮雷、塞利、阿隆、本·大卫、塞萨·比安奇、豪斯勒、巴雷特、朗、威廉姆森、安东尼、巴雷特、1999），纳塔拉扬维度表征了一些多类学习问题的可学习性（Natarajan 1989）。然而，一般来说，可学习性和一致收敛性之间并不等价。参见（Shalev Shwartz，Shamir，Srebro& Sridharan 2010，Daniely，Sabato，Ben David& Shalev Shwartz 2011）。
Sauer引理已被Sauer在回答鄂尔多斯问题时证明（Sauer 1972）。Shelah（和Perles一起）证明了它是Shelah稳定模型理论的一个有用引理（Shelah 1972）。Gil Kalai告诉我们，在后来的某个时候，Benjy Weiss在遍历理论的背景下向Perles询问了这样一个结果，Perles忘记了他已经证明过一次，于是又证明了一次。Vapnik和Chervonenkis在统计学习理论的背景下证明了这个引理。

6.8 练习

显示VC维的以下单调性：对于每两个假设类，如果 $\mathcal H'\subseteq\mathcal H$ 然后 $VC\dim(\mathcal H')\le VC\dim(\mathcal H)$ 。
给定一些有限域集 $\mathcal X$ 和一个数字 $k\le|\mathcal X|$ ，计算出以下每一类的维（并证明您的说法）：
1. $\mathcal H^\mathcal X_{=k}=\{h\in\{0,1\}^\mathcal X:|\{x:h(x)=1\}|=k\}$ ，也就是说，将值1指定给 $\mathcal X$ 的 $k$ 个元素的所有函数集。
2. $\mathcal H_{at-most-k}=\{h\in\{0,1\}^\mathcal X:|\{x:h(x)=1\}|\le k\quad or\quad|\{x:h(x)=0\}|\le k\}$ 。

Chapter 6 The VC-Dimension