3    Rademacher复杂度和VC维

机器学习中通常使用的假设集是无限的。但是，在处理无限假设集时，上一章的样本复杂性边界是没有信息的。有人可能会问，当假设集 $\mathcal H$ 为无穷大时，从有限样本进行有效学习是否可能。我们对轴对齐矩形族（例2.4）的分析表明，至少在某些情况下，这确实是可能的，因为我们证明了无限概念类是可压缩的。我们在本章中的目标是推广这个结果，并得出无限假设集的一般学习保证。
    这样做的总体思路是将无限情况简化为对有限组假设的分析，然后按照上一章的步骤进行。这种简化有不同的技术，每种技术都依赖于一系列假设的不同复杂性概念。我们将使用的第一个复杂性概念是Rademacher复杂性。这将有助于我们使用基于McDiarmid不等式的相对简单的证明来获得学习保证，同时获得高质量的边界，包括我们将在未来章节中经常使用的数据相关边界。然而，对于某些假设集，用有证明了的Rademacher复杂性的估算结果是NP-Hard。因此，我们随后介绍了另外两个纯粹的组合概念，增长函数和VC维。我们首先将Rademacher复杂度与增长函数联系起来，然后根据VC维对增长函数进行约束。VC维度通常更容易绑定或估计。我们将回顾一系列示例，展示如何计算或绑定它，然后将增长函数与VC维度联系起来。这将导致基于VC维度的泛化边界。最后，我们给出了两种不同设置下基于VC维度的下限：可实现设置，其中考虑的假设集中至少有一个假设达到零预期误差，以及非可实现设置，其中假设集中没有任何假设达到零预期误差。

3.1    Rademacher复杂度

我们将继续使用 $\mathcal H$ 来表示前面章节中的假设集。本节的许多结果是普遍的，适用于任意损失函数$L:\mathcal Y × \mathcal Y\to \mathbb R$。在下文中， $\mathcal G$ 通常被解释为与 $Z=X×Y$ 到 $\mathbb R$ 的 $\mathcal H$ 映射相关的损失函数族：

然而，定义是在函数族 $\mathcal G$ 从任意输入空间 $\mathcal Z$ 映射到 $\mathbb R$ 的一般情况下给出的。

Rademacher复杂度通过测量假设集与随机噪声的匹配程度来捕获函数族的丰富性。以下陈述了经验和平均Rademacher复杂性的正式定义。

定义 3.1：（Empirical Rademacher complexity）

设 $\mathcal G$ 是一个从 $\mathcal Z$ 映射到 $[a，b]$ 的函数族， $\mathcal S=（z_1，…，z_m）$ 是一个大小为 $\mathcal m$ 且元素在 $\mathcal Z$ 中的固定样本。然后， $\mathcal G$ 相对于样本 $S$ 的经验Rademacher复杂度定义为：

式中，$\epsilon=(\sigma_i,...,\sigma_m)^{T}$，其中 $\sigma$ 是取$\{−1, +1\}$. 随机变量$\sigma_i$称为Rademacher变量。

设 $g_S$ 表示函数g在样本S上取的值向量： $g_S=（g（z_1），…，g（z_m））^T$ 。然后，经验的Rademacher复杂性可以改写为

内积$\sigma·g_S$测量 $g_S$ 与随机噪声向量 $\sigma$ 的相关性。上确界 $\sup_{g\in\mathcal G\frac{\sigma g_S}{m}}$ 是衡量函数类 $\mathcal G$ 在样本 $\mathcal S$ 上与 $\sigma$ 相关程度的指标。因此，经验Rademacher复杂度平均衡量函数类 $\mathcal G$ 与 $\mathcal S$ 上随机噪声的相关性。这描述了族$\mathcal G$的丰富性：更丰富或更复杂的族$\mathcal G$可以生成更多的向量$g_S$，从而平均更好地与随机噪声相关。

定义 3.2(Rademacher复杂度)

设$\mathcal D$表示抽取样本所依据的分布。对于任意整数 $m\ge 1$ ，$\mathcal G$的Rademacher复杂度是根据$\mathcal D$绘制的尺寸为$m$的所有样本的经验Rademacher复杂度的期望值：

现在，我们准备基于Rademacher复杂度给出我们的第一个泛化边界。

定理 3.3

设 $\mathcal G$ 是从$\mathcal Z$映射到 $[0,1]$ 的函数族。然后，对于任何 $\delta>0$ ，概率至少为 $1−\delta$ 在尺寸为 $m$ 的i.i.d.样品$\mathcal S$的拉伸上，以下各项均适用于所有 $g\in\mathcal G$ :

证明：对于任何样品$S=（z_1，…，z_m）$和任何 $g\in \mathcal G$ ，我们用 $\hat{\mathbb E}_S[g]$ 表示覆盖物的经验平均值： $\hat{\mathbb E}_S[g]=\frac{1}{m}\sum^m_{i=1}g(z_i)$ 。证明方法是将McDiarmid不等式应用于任意样本 $S$ 的函数 $\Phi$ ，其中定义函数为：

设 $S$ 和 $S'$ 是两个只差一点的样本，设 $S$ 中的 $z_m$ 和 $S'$ 中的 $z'_m$ 。那么，由于上确界的差不超过差的上确界，我们有了

同样，我们可以得到 $\Phi(S)−\Phi(S')\le\frac{1}{m}$ ，因此 $|\Phi(S)−\Phi(S')|\le\frac{1}{m}$ 。然后，根据McDiarmid不等式，对于任何 $\delta>0$ ，概率至少为$1−\frac{\delta}{2}$，以下公式成立：

接下来，我们将右侧的期望值限定为：

$\qquad\qquad\underset{S}{\mathbb E}[\Phi (S)]=\underset{S}{\mathbb E}[\underset{g\in \mathcal G}{\sup}(\mathbb E[g]-\hat{\mathbb E}_S(g))]$

方程式(3.8)使用了这样一个事实，即 $S'$ 中的点以 i.i.d.方式采样，因此 $\mathbb E[g]=\mathbb E_{S'}[\hat{\mathbb E}_{S'}(g)]$ ，如(2.3)所示。不平等 3.9 由于上确界函数的次可加性而成立。

    在方程（3.11）中，我们引入了Rademacher变量 $\sigma_i$ ，它是均匀分布的独立随机变量，取值于{−1，1}如定义3.2所示。这不会改变（3.10）中出现的期望值：当 $\sigma_i=1$ 时，相关的和保持不变；当 $\sigma_i=−1$ ，相关的总和和翻转符号，这相当于在 $S$ 和 $S_0$ 之间交换 $z_i$ 和 $z_0$ 。由于我们对所有可能的 $S$ 和 $S_0$ 进行预期，因此该掉期不会影响总体预期；我们只是在期望范围内改变求和的顺序。

    方程(3.12)由上确界函数的次可加性决定，即不等式 $\sup (U+V)\le\sup(U)+\sup(V)$。 最后，（3.13）源于Rademacher复杂性的定义以及变量 $\sigma_i$ 和 $−\sigma_i$ 以相同的方式分布。

方程（3.13）中的 $\mathcal R_m(\mathcal G)$ 的约化得到方程（3.3）中的界，使用 $\delta$ 代替 $\delta/2$ 。为了推导 $\hat{\mathcal R}_S(\mathcal G)$ 的界，我们观察到，根据定义3.1，改变 $S$ 中的一个点最多改变 $1/m$ 的 $\hat{\mathcal R}_S(\mathcal G)$ 。然后，再次使用McDiarmid不等式，概率为 $1− \delta/2$ 如下所示：

最后，我们使用并集界来组合不等式3.7和3.14，其概率至少为 $1-\delta$ :

以上这个匹配(3.4).

下面的结果将假设集 $\mathcal H$ 的经验Rademacher复杂性与二进制损失(zero-one loss)情况下与 $\mathcal H$ 相关的损失函数族 $\mathcal G$ 联系起来。

引理 3.4

设 $\mathcal H$ 为取值在 $\{−1,+1\}$ 中的函数族，设G为与H相关的zero-one损失函数族: $\mathcal G=\{(x,y)\to 1_{h(x)\neq y}:h\in\mathcal H\}$。 对于 $\mathcal X\times\{-1,+1\}$ 中任意元素的样本 $S=((x_1,y_1),...,(x_m,y_m))$ ，设 $S_\mathcal X$ 表示其在 $\mathcal X:S_\mathcal X=(x_1,...,x_m)$ 上的投影:。那么， $\mathcal G$ 和 $\mathcal H$ 的经验Rademacher复杂性之间有以下关系:

---

证明： 对于 $\mathcal X \times \{-1,+1\}$ 中任意元素的样本 $S=((x_1,y_1),...,(x_m,y_m))$ ，根据定义， $\mathcal G$ 的经验Rademacher复杂度可表示为:

这里我们使用了 $1_{h(x_i)\neq y_i}=(1-y_ih(xi)/2)$ 的事实，以及对于固定的 $y_i\in\{-1,+1\}$ ， $\sigma_i$ 和 $-y_i\sigma_i$ 以相同的方式分布的事实。

注意，这个引理暗示，通过取期望，对于任意 $m\ge1$ , $\mathcal R_m(\mathcal G)=\frac{1}{2}\mathcal R_m(\mathcal H)$ 。这些经验Rademacher复杂性和平均Rademacher复杂性之间的联系可以用来根据假设集 $\mathcal H$ 的Rademacher复杂性推导二元分类的泛化界。

---

定理 3.5 (Rademacher复杂度界限-二元分类)

设 $\mathcal H$ 为函数族，取值范围为 $\{−1，+1\}$ ;设 $\mathcal D$ 为输入空间 $\mathcal X$ 上的分布。然后，对于任何δ>0，通过根据 $\mathcal D$ 绘制尺寸为m的样本 $S$ 且其概率至少为 $1-\delta$ ，则对任意 $h\in \mathcal H$ 均成立：

证明：结果紧跟定理3.3和引理3.4。

该定理为基于Rademacher复杂度的二元分类提供了两个推广界。请注意，第二个界限（3.18）与数据有关：经验Rademacher复杂度 $\hat{\mathcal R}_S(\mathcal H)$ 是特定样本 $S$ 的函数。因此，如果我们能够计算 $\hat{\mathcal R}_S(\mathcal H)$ ，这个界限可能是特别有用的。但是，我们如何计算经验Rademacher复杂性？再次使用 $\sigma_i$ 和 $−\sigma_i$ 以同样的方式分布，我们可以写

现在，对于 $\sigma$ 的固定值，计算 $\inf_{h\in\mathcal H}\frac{1}{m}\sum^m_{i=1}\sigma_ih(x_i)$ 相当于一个 经验风险最小化 问题，这对于某些假设集来说是很难计算的。因此，在某些情况下，计算 $\hat{\mathcal R}_S(\mathcal H)$ 可能在计算上很困难。在下一节中，我们将把Rademacher复杂性与组合度量联系起来，这些组合度量更易于计算，并且在许多环境下的学习分析中具有独立的用途。

3.2    增长函数

在这里，我们将展示Rademacher复杂度如何根据 增长函数 来限定。

定义 3.6（增长函数）

假设集 $\Pi_\mathcal H:\mathbb H\to\mathbb H$ 的增长函数 $\mathcal H$ 定义如下：

换句话说， $\prod_\mathcal H(m)$ 是使用 $\mathcal H$ 中的假设对 $m$ 个点进行分类的不同方式的最大数量。这些不同的分类中的每一种都被称为二元分类，因此，生长函数计算了由假设实现的二分法的数量。这提供了假设集 $\mathcal H$ 丰富性的另一个度量。然而，与Rademacher复杂度不同，该度量不依赖于分布，它是纯组合的。

    为了将Rademacher复杂性与增长函数联系起来，我们将使用Massart引理。

定理3.7（Massart引理）

设 $\mathcal A\subseteq\mathbb R^m$ 为有限集，以及 $r=\max_{x\in A}||X||_2$ ，则以下等式成立:

式中， $σ_is$ 为独立均匀随机变量，取值为 ${−1，1}$ 和 $x_1,...,x_m$ 是向量 $X$ 的分量。

---

证明： 由于随机变量 $\sigma_ix_i$ 是独立的，且每个 $\sigma_ix_i$ 取的值在 $[−|x_i |,| x_i |]$ 和 $\sqrt{\sum^m_{i=1}x^2_i}\le r^2$ 中。 因此结果直接由推论D.11给出的最大值期望界得出。

利用这个结果，我们现在可以用增长函数来限制Rademacher的复杂性。

---

推论 3.8

设 $\mathcal G$ 是一个取值函数族 $\{−1,+1\}$ . 那么，以下观点成立：

---

证明： 对于固定样本 $S=(x_1，…，x_m)$ ，我们用 $\mathcal G_{|S}$ 表示函数值的向量集 $(g(x_1)，…，g(x_m))$ ，其中 $g$ 在 $\mathcal G$ 中。自 $g\in\mathcal G$ 接受值 $\{−1，+1\}$ ，这些向量的范数有界于 $\sqrt m$ 。然后我们可以应用Massart引理如下：

根据定义, $|\mathcal G_{|S}|$ 受增长函数的约束,因此,

这就是证明的结论。

将定理3.5的推广界（3.17）与推论3.8相结合，就增长函数而言，立即产生以下推广界。

---

推论3.9（增长函数推广界）

设 $\mathcal H$ 是一个取值函数族 $\{−1, +1\}$ 。然后，对于任何 $\delta>0$ ，概率至少为 $1−\delta$ 、 对于任何 $h\in\mathcal H$ ,

图 3.1 实线上区间的VC维数。(a)任何两点都可能被打破。(b)三个点中的任何一个样本都不能被粉碎，因为(+,−,+) 无法实现标记。

增长函数边界也可以直接导出(不首先使用Rademacher复杂度边界)。由此产生的界限如下所示：

它和（3.22）只有常数不同。

    增长函数的计算可能并不总是方便的，因为根据定义，它需要计算所有 $m\ge1$ 的 $\Pi_\mathcal H(m)$ 。下一节将介绍假设集 $\mathcal H$ 复杂性的另一种度量方法，该方法基于单个标量，事实证明，它与增长函数的行为密切相关。

3.3    VC维数

这里，我们介绍了VC维（Vapnik-Chervonenkis维）的概念。VC维也是一个纯粹的组合概念，但它通常比增长函数（或Rademacher复杂性）更容易计算。正如我们将看到的，VC维度是学习中的一个关键数量，与增长函数直接相关。

    为了定义假设集 $\mathcal H$ 的VC维数，我们首先引入破碎的概念。回想上一节，假设集合 $\mathcal H$ ，集合 $S$ 的二分法是使用 $\mathcal H$ 中的假设标记 $S$ 点的可能方法之一。当 $\mathcal H$ 实现S的所有可能二分法时，即 $\Pi_\mathcal H(m)=2^m$ 时， $m>1$ 点集 $S$ 被假设集 $\mathcal H$ 打破。

定义 3.10（VC维数）

假设集 $\mathcal H$ 的VC维是可被 $\mathcal H$ 粉碎的最大集的大小：

请注意，根据定义，如果是 $VC\dim(\mathcal H)=d$ ，则存在一组可被粉碎的大小。然而，这并不意味着所有尺寸为 $d$ 或更小的集合都被粉碎，事实上，情况通常并非如此。

图 3.2 利用 $\mathbb R^2$ 中的超平面对四个点进行不可实现的二分法。（a） 所有四个点都位于凸面外壳上。（b） 三个点位于凸面外壳上，而其余点位于内部。

  为了进一步说明这一概念，我们将检查一系列假设集的示例，并确定每种情况下的VC维度。为了计算VC维度，我们通常会显示其值的下限，然后是匹配的上限。为了给 $VCdim(\mathcal H)$ 一个下界，只需证明基数 $d$ 的集合 $S$ 可以被 $\mathcal H$ 破坏。为了给上界，我们需要证明没有基数 $d+1$ 的集合 $S$ 可以被 $\mathcal H$ 破坏，这通常更困难。

例3.11（实线上的间隔）

我们的第一个例子涉及实线上区间的假设类。很明显，VC维度至少是两个，因为所有四个二分法 $(+,+),(-,-),(+,-),(-,+)$ 都可以实现，如图3.1(a)所示。相反，根据间隔的定义，由于无法实现 $(+,-,+)$ 标记，因此三个点的集合不能被打破。因此，$VC\dim(interval\quad in\quad\mathbb R)=2$ 。

例3.12（超平面）

考虑 $\mathbb R^2$ 中的超平面集合，我们首先观察到 $\mathbb R^2$ 中的任意三个非共线点可以被粉碎。为了得到前三个二分法，我们选择一个超平面，它的一侧有两个点，另一侧有第三个点。为了得到第四个二分法，我们将所有三个点都放在超平面的同一侧。剩下的四个二分法是通过简单地切换符号来实现的。接下来，通过考虑两种情况，我们证明了四个点不能被破坏：（i）四个点位于由四个点定义的凸壳上，以及（ii）四个点中的三个位于凸壳上，其余点是内部的。在第一种情况下，无法实现一个对角线对的正标签和另一个对角线对的负标签，如图3.2(a)所示。在第二种情况下，无法实现凸壳上点为正、内点为负的标签，如图3.2(b)所示。因此， $VC\dim(hyperplanes\quad in\quad\mathbb R^2)=3$ 。

  更一般地，在 $\mathbb R^d$ 中，我们从 $\mathbb R^d$ 中的一组d点开始，将 $\Chi_0$ 设置为原点，并将 $\Chi_i$ 定义为 $i\in\{1,...,d\}$ ，即坐标为1且所有其他点均为0的点，从而得出下限。设 $y_0,y_1,...y_d$ 是 $\Chi_0,\Chi_1,...,\Chi_d$ 的任意标签集。设 $W$ 为第 $i$ 个坐标为 $y_i$ 的向量。然后，由方程 $W\cdot\Chi+\frac{y_0}{2}=0$ 的超平面定义的分类器分解 $\Chi_0,\Chi_1,...,\Chi_d$ ，因为对于任何 $i\in\{0,...,d\}$ ，

为了得到一个上界，只要证明没有一组 $d+2$ 点可以被半空间破坏就足够了。为了证明这一点，我们将使用以下一般定理。

定理3.13（拉东定理）

$d+2$ 点的任意集合 $\mathcal X$ 可以划分为两个子集 $\mathcal X_1$ 和 $\mathcal X_2$ ，使得 $\mathcal X_1$ 和 $\mathcal X_2$ 的凸包相交。

证明： 设 $\mathcal X=\{X_1,...,X_{d+2}\}\subset\mathbb R^d$ 。以下是 $\alpha_1,...,\alpha_{d+2}$ 中的 $d+1$ 线性方程组：

由于第一个等式引出一个等式，因此每个分量对应一个等式。未知数的数量 $d+2$ 大于方程的数量 $d+1$ ，因此系统允许非零解 $\beta_1,...,\beta_{d+2}$ 。因为 $\sum^{d+2}_{i=1}\beta_i=0$ ， $\mathcal J_1=\{i\in[d+2]:\beta_i>0\}$ 和 $\mathcal J_1=\{i\in[d+2]:\beta_i\le0\}$ 都是非空集， $\mathcal X_1=\{X_i:i\in\mathcal J_1\}$ 和 $\mathcal X_2=\{X_i:i\in\mathcal J_2\}$ 构成X的一个分区。根据（3.26）的最后一个方程式， $\sum_{i\in\mathcal J_1}\beta_i=-\sum_{i\in\mathcal J_2}\beta_i$ 。设 $\beta=\sum_{i\in\mathcal J_1}$ 。然后（3.26）的第一部分暗示

用 $\sum_{i\in\mathcal J_1}\frac{\beta_i}{\beta}=\sum_{i\in\mathcal J_2}\frac{-\beta}{\beta}=1$ 表示，和 $\frac{\beta_i}{\beta}\ge0$ 表示 $i\in\mathcal J_2$ ， $\frac{-\beta_i}{\beta}\ge0$ 表示 $i\in\mathcal J_2$ 。根据凸包的定义（B.6），这意味着 $\sum_{i\in\mathcal J_1}\frac{\beta_i}{\beta}X_i$ 既属于 $\mathcal X1$ 的凸包，也属于 $\mathcal X_2$ 的凸包。
现在，让 $\mathcal X$ 是一组 $d+2$ 点。根据Radon定理，可以将其划分为两个集 $\mathcal X_1$ 和 $\mathcal X_2$ ，使它们的凸包相交。

现在，让 $\mathcal X$ 是一组 $d+2$ 点。根据Radon定理，可以将其划分为两个集 $\mathcal X_1$ 和 $\mathcal X_2$ ，使它们的凸包相交。请注意，当两组点 $\mathcal X_1$ 和 $\mathcal X_2$ 由超平面分隔时，它们的凸包也由该超平面分隔。因此， $\mathcal X_1$ 和 $\mathcal X_2$ 不能被超平面分开， $\mathcal X$ 也不会破碎。结合我们的上下界，我们证明了$VC\dim(\mathbb R^d中的超平面)=d+1$ 。

例3.14（轴对齐矩形）:

通过考虑菱形图案中的四个点，我们首先证明了VC维数至少为四。然后，很明显，所有16种二分法都可以实现，其中一些如图3.3(a)所示。相反，对于任何一组五个不同的点，如果我们构造包含这些点的最小轴对齐矩形，则其中一个点位于该矩形的内部。

图3.3 VC轴对齐矩形的尺寸。（a） 菱形图案中四个点的可实现二分法示例。（b） 如果内部点和其余点具有相反的标签，则无法实现五个点的采样。

想象一下，我们为这个内部点指定一个负标签，为其余四个点中的每个点指定一个正标签，如图3所示。3（b）。没有轴对齐的矩形可以实现此标记。因此，没有一组五个不同的点可以被粉碎和 $VC\dim(轴对齐矩形)=4$ 。

例3.15（凸多边形）

我们主要研究平面上的凸d-角类。为了得到一个下限，我们证明了任何一组 $2d+1$ 点都可以被粉碎。为此，我们选择位于圆上的 $2d+1$ 点，对于特定的标签，如果负标签多于正标签，则带有正标签的点将用作多边形的顶点，如图3.4(a)所示。否则，负点的切线将用作多边形的边，如（3.4）（b）所示。为了推导上界，可以证明选择圆上的点可以最大化可能的二分法的数量，因此 $VC\dim(凸面)=2d+1$ 。还要注意 $VCdim(凸多边形)=+\infty$ 。

例3.16（正弦函数）

前面的例子表明， $\mathcal H$ 的VC维数与定义 $\mathcal H$ 的自由参数的数量一致。例如，定义超平面的参数数量与其VC维度匹配。然而，这并不适用于一般情况。本章中的几个练习说明了这一事实。下面从这个角度提供了一个引人注目的例子。考虑下面的正弦函数族： $\{t\to\sin(\omega t)：\omega\in\mathbb R\}$ 。这个函数类的一个实例如图3.5所示。这些正弦函数可用于对实线上的点进行分类：

图3.4 平面上的凸面 $d$ 形角可以破碎 $2d+1$ 个点。（a） 当有更多的负标签时，d形构造。（b） 有更多正面标签时的 $d$ 形构造。

图3.5 用于分类的正弦函数 $(\omega=50)$ 示例。

用于对实线上的点进行分类：如果点位于曲线上方，则标记为正，否则标记为负。虽然这个正弦函数族是通过一个参数ω定义的，但可以证明 $VC\dim(sin)=+\infty$ （练习3.20）。

  许多其他假设集的VC维度可以通过类似的方式确定或上界（参见本章练习）。特别是，维数为 $r<\infty$ 的任何向量空间的 $VC$ 维数最多可以显示为 $r$ （练习3.19）。下一个结果，即阿索尔引理，澄清了增长函数概念与 $VC$ 维度之间的联系。

图3.6 Sauer引理证明中 $\mathcal G_1$ 和 $\mathcal G_2$ 如何构造的图解。

定理3.17（Sauer引理）

设 $\mathcal H$ 为 $VC\dim(\mathcal H)=d$ 的假设集。然后，对于所有 $m\in]mathbb N$ ，以下不等式成立：

证明: 证明是通过归纳法在 $m+d$ 上进行的。该声明显然适用于 $m=1$ 和 $d=0$ 或 $d=1$ 。 现在，假设它适用于 $(m-1,d-1)$ 和 $(m-1,d)$ 。固定一个具有 $\Pi\mathcal H(m)$ 二分法的集合 $\mathcal S=\{x_1,...,x_m\}$ ，并设 $\mathcal G=\mathcal H_{|S}$ 是由对 $\mathcal S$ 的限制所导出的概念 $\mathcal H$ 的集合。

  现在考虑 $S'=\{x_1,...,x_{m-1}\}$ 上的下列数族。我们将 $\mathcal G_1=\mathcal G_{|\mathcal S'}$ 定义为约束 $S'$ 而产生的概念 $\mathcal H$ 的集合。接下来，通过将每个概念标识为 $S'$ 或 $S$ 中它是非零的点的集合，我们可以定义为

由于 $g'\subseteq\mathcal S'$ , $g'\in\mathcal G$ 意味着不添加 $x_m$ ，它是 $\mathcal G$ 的一个概念。此外，约束 $g'\cup\{x_m\}\in\mathcal G$ 意味着将 $x_m$ 添加到 $g'$ 也使其成为 $\mathcal G$ 的概念。 $\mathcal G_1$ 和 $\mathcal G_2$ 的结构如图3.6所示。观察 $|\mathcal G_1|+|\mathcal G_2|=|\mathcal G|$ 得到 $\mathcal G_1$ 和 $\mathcal G_2$ 的定义。

  由于 $VC\dim(\mathcal G_1)\le VC\dim(\mathcal G)\le d$ ，则通过生长函数的定义，利用归纳假设，

此外，根据 $\mathcal G_2$ 的定义，如果集合 $\mathcal Z\subseteq\mathcal S'$ 被 $\mathcal G'$ 粉碎，然后集合 $\mathcal Z\cup\{x_m\}$ 被 $\mathcal G$ 粉碎。因此，

根据生长函数的定义和归纳假设，

因此,

这就完成了归纳证明。

  Sauer引理的重要性可以从推论3.18中看出，它显著地表明生长函数只表现出两种类型的行为： $VC\dim(\mathcal H)=d<+\infty$ ，在这种情况下 $\Pi_\mathcal H(m)=O(m^d)$ ，或 $VC\dim(\mathcal H)=+\infty$ ，在这种情况下 $\Pi_\mathcal H(m)=2^m$ 。

推论3.18

设 $\mathcal H$ 为 $VC\dim(\mathcal H)=d$ 的假设集。那么对于所有的 $m\ge d$ 来说，

证明： 证明从Sauer引理开始。第一个不等式将每个和乘以一个从 $m\ge d$ 开始大于或等于1的因子，而第二个不等式将非负和与之相加。

在使用二项式定理简化表达式后，使用一般不等式 $(1-x)\le e^{-x}$ 得到最终不等式。

刚建立的VC维和生长函数之间的显式关系，结合推论3.9，立即导致以下基于VC维的泛化边界。

推论3.19（VC维泛化界）

设 $\mathcal H$ 是一个取值函数族 $\{−1，1\}$ 与VC维数 $d$ 。然后，对于任何 $δ>0$ ，概率至少为 $1−\delta$ 、 以下适用于所有 $h\in\mathcal H$ :

因此，这个推广界的形式是

它强调了泛化的比率/数据的重要性。该定理提供了奥卡姆剃刀原理的另一个实例，其中简单性是用更小的VC维度来衡量的。

VC维度边界可以直接导出，而无需使用中间的Rademacher复杂度边界，如（3.23）：将Sauer引理与（3.23）相结合，得到以下高概率边界

它的一般形式是（3.30）。对数因子在这些界限中只起次要作用。事实上，可以使用更精细的分析来消除该因素。

3.4    下界

在上一节中，我们给出了泛化误差的几个上界。相比之下，本节根据所用假设集的VC维度提供了任何学习算法的泛化误差的下界。

  通过发现任何算法的“坏”分布来显示这些下界。由于学习算法是任意的，因此很难指定特定的分布。相反，它足以非建设性地证明它的存在。在高层次上，用来实现这一点的证明技术是保罗·埃尔多的概率论方法。在下面的证明中，首先给出了定义分布的参数的期望误差的下界。由此可知，下限至少适用于一组参数，即一个分布。

定理3.20（下限，可实现情况）

设 $\mathcal H$ 为vc维数 $d>1$ 的假设集。那么，对于任何 $m\ge1$ 和任何学习算法 $\mathcal A$ ，都存在一个分布 $\mathcal D$ 除以 $\mathcal X$ 和一个目标函数 $f\in\mathcal H$ 以致

证明： 设 $\bar X=\{x_0,x_1,...,x_{d-1}\}\subseteq X$ 是一个被 $\mathcal H$ 打碎的集合。对于任何 $\epsilon>0$ ，我们选择 $\mathcal D$ ，使其支持度减少到 $\bar X$ ，因此一个点 $x_0$ 具有非常高的概率 $(1-8\epsilon)$ ，其余概率质量均匀分布在其他点之间：

有了这个定义，大多数样本都包含 $X_0$ ，因为 $X$ 被粉碎，当确定 $x_i$ 席上没有落在训练集中的标签时， $\mathcal A$ 基本上不能比抛掷硬币更好。

  我们假设 $\mathcal A$ 在 $x_0$ 上没有错误，但不失一般性。对于一个样本 $S$ ，我们让 $\bar S$ 表示其元素在 $\{x_1,...,x_{d-1}\}$ 中的集合，让 $\mathcal S$ 是大小为 $m$ 的样本 $S$ 的集合，使得 $|\bar S|\le(d-1)/2$ 。现在，固定一个样本 $S\in\mathcal S$ ，并考虑在所有标号 $f:\bar X\to\{0,1\}$ 上的均匀分布 $\mathcal U$ ，因为集合被破坏，所有的标号都在 $\mathcal H$ 中。然后，以下下限成立：

第一个下界成立，因为当我们只考虑 $x\notin\bar S$ 而不是 $\bar X$ 中的所有 $X\notin\bar S$ 时，我们从求和中去除非负项。在重新排列项之后，随后的等式成立，因为我们对 $f\in\mathcal H$ 取一个期望值，每个 $f$ 和 $\mathcal H$ 上的权重相等， $\mathcal H$ 粉碎 $\bar X$ 。由于 $\mathcal D$ 和 $\bar S$ 的定义，最后的下限成立，后者意味着 $|\bar X-\bar S|\ge(d-1)/2$ 。

  由于(3.33)适用于所有 $S\in\mathcal S$ ，因此它也适用于所有 $S\in\mathcal S$ ： $\mathbb E_{S\in\mathcal S}[\mathbb E_{f\sim\mathcal U}[R_\mathcal D(h_S,f)]]\ge 2\epsilon$ 。根据Fubini定理，期望值可以置换，因此，

这意味着 $\underset{f\sim\mathcal U}{\mathbb E}[\underset{S\in\mathcal S}{\mathbb E}[R_\mathcal D(h_S,f)]]\ge2\epsilon$ 至少用于一个标记 $f_0\in\mathcal H$ 。将该期望分解为两部分，并使用 $R_\mathcal D(h_S,f_0)\le\mathbb P_\mathcal D[\bar X-\{x_0\}]$ ，我们得到：

$\mathbb P_{S\in\mathcal S}[R_\mathcal D(h_S,f_0)\ge\epsilon]$ 收益率中的集合项

因此，所有样本 $S$ （不一定在 $S$ 中）上的概率可以是下限，如下所示：

这使我们找到了 $\mathbb P[S]$ 的一个下界。根据乘法Chernoff界（定理D.4），对于任何 $\gamma>0$ ，大于 $(d−1)/2$ 点在尺寸为 $m$ 的样本中绘制：

因此，对于 $\epsilon=(d-1)/(32m)$ 和 $\gamma=1$ ，

对于 $\delta\le.01.$ 得到 $\mathbb P[\mathcal S]\ge7\delta$ 和 $\mathbb P_S[R_\mathcal D(h_S,f_0)\ge\epsilon]\ge\delta$ 。
该定理表明，对于任何算法 $\mathcal A$ ，都存在 $X$ 上的“坏”分布和一个目标函数 $f$ ，其由 $\mathcal A$ 返回的假设误差是一个常数乘以 $\frac{d}{m}$ ，具有一定的常数概率。这进一步证明了VC维度在学习中所起的关键作用。结果表明，当VC维数为无穷大时，在可实现的情况下，PAC学习是不可能的。
  请注意，该证明显示了比定理陈述更强的结果：分布 $\mathcal D$ 的选择独立于算法 $\mathcal A$ 。现在我们给出了一个定理，给出了不可实现情况下的下界。需要以下两个引理来证明。

引理3.21

设 $\alpha$ 为均匀分布的随机变量，取 $\{\alpha_-,\alpha_+\}$ 中的值，其中 $\alpha_-=\frac{1}{2}-\frac{\epsilon}{2}$ 和 $\alpha_+=\frac{1}{2}+\frac{\epsilon}{2}$ ，设 $S$ 为 $m\ge1$ 个随机变量的样本， $X_1,...,X_m$ 取 $\{0,1\}$ 中的值，并根据 $\mathbb P_{\mathcal D_\alpha}[X=1]=\alpha$ 定义的分布 $\mathcal D_\alpha$ 独立且均匀分布。设 $h$ 是从 $X^m$ 到 $\alpha_-,\alpha_+$ 的函数，则以下公式成立：

其中 $\Phi(m,\epsilon)=\frac{1}{4}(1-\sqrt{1-\exp(-\frac{m\epsilon^2}{1-\epsilon^2})})$ 表示所有 $m$ 和 $\epsilon$ 。
证明： 这个引理可以用两枚带有 $\alpha_-$ 和 $\alpha_+$ 偏差的硬币的实验来解释。这意味着，对于基于从 $\mathcal D_{\alpha_-}$ 或 $D_{\alpha_+}$ 中抽取的样本 $S$ 的判别规则 $h(S)$ ，要确定投掷了哪枚硬币，样本大小 $m$ 必须至少为 $\Omega(1/\epsilon^2)$ 。这个证明留作练习（练习D.3）。我们将利用这样一个事实，即对于任何固定的 $\epsilon$ ，函数 $m\mapsto\Phi(m,x)$ 是凸的，这并不难建立。

引理3.22

设 $Z$ 为取 $[0,1]$ 值的随机变量。然后，对于任意 $\gamma\in[0,1)$ ,

证明： 由于 $Z$ 取的值在 $[0,1]$ 中，

这就是证据的结论。

定理3.23（下限，不可变现情况）

设 $\mathcal H$为 $VC$ 维 $d>1$ 的假设集。然后，对于任意 $m\ge1$ 和任意学习算法 $\mathcal A$ ，存在分布 $\mathcal D$ 除以 $X\times\{0,1\}$ ，从而：

等价地，对于任何学习算法，样本复杂度验证

证明： 设 $\bar X=\{x_1,...,x_d\}\subseteq X$为一组被 $\mathcal H$ 击碎的粒子。对于任意 $\alpha\in[0,1]$ 和任意向量 $\sigma=(\sigma_1,...,\sigma_d)^T\in\{-1,+1\}^d$ ，我们定义了一个分布 $\mathcal D_\sigma$ ，其支持度 $\bar X\times\{0,1\}$ 如下：

因此，每个点 $x_i,i\in[d]$ 的标签遵循有偏硬币的分布 $\mathbb P_{\mathcal D_\sigma}[\cdot|x_i]$ ，其中偏差由 $\sigma_i$ 的符号和 $\alpha$ 的大小决定。为了确定每个点 $x_i$ 的最可能标签，学习算法因此需要以比 $\alpha$ 更高的精度估计 $\mathbb P_{\mathcal D_\sigma}[1|x_i]$ 。为了进一步增加难度，将根据算法选择 $\alpha$ 和 $\sigma$ ，如引理3.21所示， $\Omega(1/\alpha^2)$ 训练样本中每个点 $x_i$ 的实例。

  显然，对于所有 $i\in[d]$ ，贝叶斯分类器 $h^*_{\mathcal D_\sigma}$ 由 $h^*_{\mathcal D_\sigma}(x_i)=\arg\max_{y\in\{0,1\}}\mathbb P[y|x_i]=1_{\sigma_i>0}$ 定义。因为 $\bar X$ 被粉碎，所以 $h^*_{\mathcal D_\sigma}$ 在 $\mathcal H$ 中。对于所有的 $h\in\mathcal H$ ,

让 $h_S$ 表示学习算法 $\mathcal A$ 在接收到根据 $\mathcal D_\sigma$ 绘制的标记样本 $S$ 后返回的假设。我们将用 $|S|_x$ 表示点 $x$ 在 $S$ 中的出现次数。设 $\mathcal U$ 表示 $\{-1,+1\}^d$ 上的均匀分布。然后，鉴于 $(3.44)$ ，以下观点成立：

由于 $\sigma$ 上的期望值是 $\Phi(m/d+1,\alpha)$ 的下界，因此必然存在某个 $\sigma\in\{-1,+1\}^d$

然后，通过引理3.22，对于 $\sigma$ ，对于任何 $\gamma\in[0,1]$ ，

其中 $u=\Phi(m/d+1,\alpha)$ 。选择 $\delta$ 和 $\epsilon$ ，使得 $\delta\le(1-\gamma)u$ 和 $\epsilon\le\gamma\alpha u$

为了满足定义 $\epsilon$ 和 $\delta$ 的不等式，设 $\gamma=1-8\delta$ 。然后

选择 $\alpha=8\epsilon/(1-8\delta)$ 给出了 $\epsilon=\gamma\alpha/8$ 和条件

让 $f(1/\epsilon^2)$ 表示右侧。我们正在寻求形式为 $m/d\le\omega/\epsilon^2$ 的一个充分条件。从 $\epsilon\le1/64$ 开始，为了确保 $\omega/\epsilon^2\le f(1/\epsilon^2)$ ，施加 $\frac{\omega}{(1/64)^2}=f(\frac{1}{(1/62)^2})$ 就足够了。这个条件给出了

因此， $\epsilon^2\le\frac{1}{320(m/d)}$ 足以确保不等式。 该定理表明，对于任何算法 $\mathcal A$ ，在不可实现的情况下， $X\times\{0,1\}$ 上存在一个“坏”分布，使得 $\mathcal A$ 返回的假设误差是一个常数乘以 $\sqrt{\frac{d}{m}}$ ，具有一些常数概率。在这种一般情况下，VCD维度也是学习中的一个关键量。特别是，在VC维度无限的情况下，不可知PAC学习是不可能的。

3.5  章注释

Koltchinskii[2001]、Koltchinskii和Panchenko[2000]以及Bartlett、Boucheron和Lugosi[2002a]首先提倡使用Rademacher复杂性来推导学习中的泛化边界，另见[Koltchinskii和Panchenko，2002年，Bartlett和Mendelson，2002年]。Bartlett、Bousquet和Mendelson[2002b]引入了局部Rademacher复杂度的概念，也就是说，Rademacher复杂度限制在假设集的一个子集上，该假设集受到方差界的限制。这可用于在有关噪声的某些规则性假设下得出更好的保证。

  定理3.7应提交给马萨特[2000]。Vapnik和Chervonenkis[1971]引入了VC维度的概念，并对其进行了广泛的研究[Vapnik，2006年，Vapnik和Chervonenkis，1974年，Blumer等人，1989年，Assouad，1983年，Dudley，1999年]。除了在机器学习中发挥关键作用外，VC维度还广泛应用于计算机科学和数学的其他领域（例如，见Shelah[1972]，Chazelle[2000]）。定理3。17是学习社区中已知的asSauer引理，但其结果首先由Vapnik和Chervonenkis[1971]（版本稍有不同）给出，随后由Sauer[1972]和Shelah[1972]独立给出。

&emps; 在可实现的情况下，Vapnik和Chervonenkis[1974]以及Haussler等人[1988]给出了VCD方面预期误差的下界。随后，给出了误差概率的下限，如定理3.20由Blumer等人[1989]给出。定理3.20和它的证明，改进了之前的结果，是由于Ehrenfeucht，Haussler，Kearns和Valiant[1988]。Devroye和Lugosi[1995]用更复杂的表达式对同一问题给出了更严格的界限。定理3.23在不可实现的情况下给出一个下界，给出的证明应归功于Anthony和Bartlett[1999]。关于证明其全部能力的概率方法应用的其他示例，请参阅Alon和Spencer的参考书[1992]。

&emps; 对于机器学习中使用的一系列函数的复杂性，还有其他几种度量方法，包括覆盖数、包装数以及第11章中讨论的一些其他复杂性度量方法。每个复杂性度量自然地将无限假设集简化为有限假设集，从而产生无限假设集的泛化边界。练习3.31说明了使用覆盖数来使用一个非常简单的证明来推导泛化边界。这些复杂度度量之间也有密切的关系：例如，根据达德利定理，经验拉德马赫复杂度可以用 $\mathcal N_2(\mathcal G,\epsilon)$ 来界定[Dudley，1967，1987]，覆盖数和包装数可以用VC维来界定[Haussler，1995]。另请参见[Ledoux和Talagrand，1991年，Alon等人，1997年，Anthony和Bartlett，1999年，Cucker和Smale，2001年，Vidyasagar，1997年]，了解覆盖数在其他复杂性度量方面的一些上界。

3.6  练习

1、 $\mathbb R$ 中区间的增长函数。设 $\mathcal H$ 为 $\mathbb R$ 中区间的集合。 $\mathcal H$ 的VC维数为2。计算其破碎系数 $\Pi_\mathcal H(m),m\ge0$ 。将结果与增长函数的一般界限进行比较。

2、 $\mathbb R$ 中阈值的生长函数和Rademacher复杂度。设 $\mathcal H$ 为实直线上的阈值函数族: $\mathcal H=\{x\mapsto1_{x\le\theta}:\theta\in\mathbb R\}\cup\{x\mapsto1_{x\ge\theta}:\theta\in\mathbb R\}$ 。给出生长函数 $\Pi_m(\mathcal H)$ 的上界。用它来推导 $\Re_m(\mathcal H)$ 的上界。

3、线性组合的生长函数。 $\mathbb R^d$ 中向量集合 $\mathcal X$ 的线性可分标记是将 $\mathcal X$ 分类为两个集合 $\mathcal X^+$ 和 $\mathcal X^-$ 与 $\mathcal X^+=\{X\in\mathcal X:W\cdot X>0\}$ 和 $\mathcal X^-=\{X\in\mathcal X:W\cdot X<0\}$ 对于某个 $W\in\mathbb R^d$ 。

设 $\mathcal X=\{X_1,...,X-m\}$ 是 $\mathbb R^d$ 的子集。

• (a)设 $\{\mathcal X^+,\mathcal X^−\}$ 是 $\mathcal X$ 的二分法，设 $X_{m+1}\in\mathbb R^d$ 。证明 $\{\mathcal X^+\cup\{X_{m+1}\},\mathcal X^−\}$ 和 $\{\mathcal X^+，\mathcal X^−\cup\{X_{m+1}\}\}$ 是经过原点的超平面可线性分离的，当且仅当 $\{\mathcal X^+,\mathcal X^−\}$ 是经过原点和 $X_{m+1}$ 的超平面可线性分离的。
• (b)设 $\mathcal X=\{X_1,...,X_m\}$ 是 $\mathbb R^d$ 的子集使得 $\mathcal X\le d$ 的任何 $k$ 元素子集与 $k\le d$是线性无关的。然后，证明了 $\mathcal X$ 的线性可分标记数为 $C(m,d)=2\sum^{d-1}_{k=0}(^{m-1}_k)$ 。(提示:通过归纳证明 $C(m+1,d)=C(m,d)+C(m,d-1)$ )
• (c)设 $f_1,...,f_p$ 是 $p$ 个把 $\mathbb R^d$ 映射到 $\mathbb R$ 的函数。定义 $\mathcal F$ 为基于这些函数的线性组合的分类器族:

通过 $\Psi(x)=(f_1(x),...f_p(x))$ 定义 $\Psi$ 。假设存在 $x_1,...,x_m\in\mathbb R^d$ ，使得 $\{\Psi(x_1),\Psi(x_m)\}$ 的每个 $p$ 子集都是线性无关的。然后,得到

4、生长函数的下界。证明绍尔引理(定理3.17)是严密的。证明存在vc维 $d$ 的假设类 $\mathcal H$ ，使 $\Pi_\mathcal H(m)=\sum^d_{i=0}(^m_i)$。

5、更好的拉德马赫上界。证明可以用ES[Π(G, S)]给出 $\mathcal G$ 族Rademacher复杂度的一个更精细的上界，其中Π(G, S)是标记样本S中点的方法的个数。

6、单例假设类。考虑平凡的假设集 $\mathcal H$ 。

• (a)证明任意 $m>0$ 有 $\Re_m(\mathcal H)=0$ 。
• (b)用一个类似的结构来证明Massart的引理(定理3.7)是严密的。

7、二函数假设类。设 $\mathcal H$ 是一个简化为两个函数的假设集: $\mathcal H=\{h_{-1},h_{+1}\}$ , $S=(x_1,...,x_m)$ 是规模为m的样本。

• (a)假设 $h-1$ 是取值为−1的常函数， $h+1$ 是取值为+1的常函数。vc维d是多少?经验Rademacher复杂度RS(H)的上界(提示:用Rademacher变量和的绝对值表示RS(H)，并应用Jensen不等式)，并用 $\sqrt{d/m}$比较你的上界。
• (b)假设 $h-1$ 是取值为-1的常函数，而 $h+1$ 是除x1处取值为+1外其他地方取值为-1的函数。vc维d是多少?计算经验Rademacher复杂度RS(H)。

8、Rademacher身份。修复 $m≥1$ 。证明函数从 $\mathcal X$ 映射到 $\mathbb R$ 的任意 $\alpha\in\mathbb R$ 和任意两个假设集 $\mathcal H$ 和 $\mathcal H'$ 的下列恒等式:

• (a) $\hat\Re(\alpha\mathcal H)=|\alpha|\Re_m(\mathcal H)$ 。
• (b) $\hat\Re(\mathcal H+\mathcal H)=\Re_m(\mathcal H)+\Re_m(\mathcal H')$ 。
• (c) $\hat\Re(\{\max(h,h'):h\in\mathcal H,h'\in\mathcal H'\})\le\Re_m(\mathcal H)+\Re_m(\mathcal H')$

9、Rademacher概念交集的复杂性。设 $\mathcal H_1$ 和 $\mathcal H_2$ 是将 $\mathcal X$ 映射到 $\{0,1\}$ 的两组函数，设 $\mathcal H=\{h_1h_2:h_1\in\mathcal H_1,h_2\in\mathcal H_2\}$ 。证明对于任意大小为 $m$ 的样本 $S$ , $\mathcal H$ 的经验Rademacher复杂度可以有以下界限:

提示:使用Lipschitz函数 $x\mapsto\max(0,x-1)$ 和Talagrand的收缩引理。

用这个来限定 $c_1$ 和 $c_2$ 与 $c_1\in\varrho_1$ 和 $c_2\in\varrho_2$ 的交点 $\mathcal U$ 族的Rademacher复杂度 $\Re_m(\mathcal U)$ ，根据 $c_1$ 和 $c_2$ 的Rademacher复杂度。

10、Rademacher复杂度预测向量。设 $S=(x_1,...,x_m)$ 是大小为 $m$ 的样本，固定为 $h\to\mathbb R$ 。

• (a)用 $u$ 表示 $h$ 对 $S:u=[\begin{array}{cc}&h(x_1)\\&\dots\\&h(x_m)\end{array}]$ 的预测向量。给出 $\mathcal H$ 的经验Rademacher复杂度 $\hat\Re_S(\mathcal H)$ 的上界，用 $||u||_2$ 表示(提示:用绝对值的期望表示 $\hat\Re_S(\mathcal H)$ ，并应用Jensen不等式)。假设 $h(x_i)\in\{0,-1,+1\}$ 对于所有 $i\in[m]$ 。用稀疏测度 $n=|\{i|h(x_i)\neq0\}|$ 表示Rademacher复杂度的界。稀疏性度量的极值上限是多少?
• (b)设 $\mathcal F$ 是将 $\mathcal X$ 映射到 $\mathbb R$ 的函数族。用 $\hat\Re_S(\mathcal F)$ 和 $||u||_2$ 给出 $\mathcal F+h=\{f+h:f\in\mathcal F\}$ 和 $\mathcal F\pm h=(\mathcal F+h)\cup(\mathcal F-h)$ 的经验Rademacher复杂度的上界。

11、正则化神经网络的Rademacher复杂度。设输入空间为 $\mathcal X=\mathbb R^{n_1}$ 。在这个问题中，我们考虑由映射 $\mathcal X$ 到 $\mathbb R$ 的函数集定义的正则化神经网络族:

其中 $σ$ 为L-Lipschitz函数。例如， $σ$ 可以是s型函数，即1-Lipschitz。

• (a)证明 $\hat\Re_S(\mathcal H)=\frac{\Lambda'}{m}\mathbb E_\sigma[\sup_{||u||_2\le\Lambda}|\sum^m_{i=1}\sigma_i\sigma(u\cdot X_i)|]$ 。
• (b)使用Talagrand的引理对所有假设集 $\mathcal H$ 和l - lipschitz函数 $\Phi$ 有效:

到上界 $\hat \Re_S(\mathcal H)$ ，根据H'的经验Rademacher复杂度，其中H'定义为

• (c)用Cauchy-Schwarz不等式来证明

• (d)利用不等式 $\mathbb E_V[||V||_2]\le\sqrt{\mathbb E_V[||V||^2_2]}$ ，它由Jensen不等式保持到上界 $\hat\Re_S(\mathcal H')$ 。

*(e)假设对于所有的 $X\in S$ , $||X||_2\le r$ 对于某个 $r>0$ 。利用前面的问题，用 $r$ 来推导 $\mathcal H$ 的Rademacher复杂度的上界。

12、随处的复杂性。Jesetoo教授声称，根据其vc维 $VC\dim(\mathcal H)$ ，已经发现了任何假设setHof函数在 $\{−1,+1\}$ 取值时Rademacher复杂度的一个更好的界。他的界是 $\Re_m(\mathcal H)\le O(\frac{VC\dim(\mathcal H)}{m})$ 的形式。你能证明杰斯图教授的说法不正确吗?(提示:考虑一个假设sethreed只是两个简单的函数。)

13、k区间并集的vc维。由k个区间的并集组成的实线子集的vc维是多少?

14、有限假设集的vc维。证明有限假设的vc维最大值为 $\log_2|\mathcal H|$ 。

15、vc维的子集。由单个参数 $\alpha:I_\alpha=[\alpha,\alpha+1]\cup[\alpha+2,+\infty)$ 参数化的实线的子集 $I_α$ 的vc维是什么

16、对轴正方形和三角形的vc维。

• (a)平面中轴向正方形的vc维是多少?
• (b)考虑平面上的直角三角形，它们的边与直角平行于坐标轴，并且直角位于左下角。这个家族的风险维度是多少?

17、 $\mathbb R^n$ 中闭球的vc维数。证明 $\mathbb R^n$ 中所有闭球集合的vc维，

18、椭圆体的vc维。 $\mathbb R^n$ 中所有椭球集合的vc维是多少?

19、实函数向量空间的vc维数。是 $\mathbb R^n$ 上实函数的有限维向量空间， $\dim(F)=r<\infty$ 。设 $\mathcal H$ 为假设集:

20、正弦函数的vc维数。考虑正弦函数的假设族(例3.16): $\{x\to\sin(\omega x):\omega\in\mathbb R\}$

• (a)证明对于任意 $x\in\mathbb R$ 点 $x,2x,3x,4x$ 不能被正弦函数族分解。
• (b)证明正弦函数族的vc维是无限的。(提示:证明{2−i:i≤m}可以被任意m>0粉碎)

21、半空间并集的vc维数。给出由 $k$ 个半空间并集所描述的一类假设的vc维的上界。

22、半空间交点的vc维数。考虑 $k$ 半空间的凸交的 $\varrho_k$ 类。给出了 $VCdim(\varrho_k)$ 的上下界估计。

23、交点概念的vc维。

• (a)设 $\varrho_1$ 和 $\varrho_2$ 是两个概念类。对于任何概念类 $\varrho=\{c_1\cap c_2:c_1\in\varrho_1,c_2\in\varrho\}$ ，

• (b)设 $\varrho$ 为vc维d的概念类，设 $\varrho$ 为s的所有概念从 $\varrho$ ,s≥1的交点构成的概念类。证明了 $\varrho_s$ 的vc维为 $2ds\log_2(3s)$ 。(提示:对于任意$x≥2,\log_2(3x)< 9x/(2e)$ )

24、vc维的概念并集。设A和B是两个从X映射到{0,1}的函数集，并假设A和B的VCdimension都是有限的，VCdim(A) =dA, VCdim(B) =dB。设C=A∪B是A与B的并集。

• (a)证明对于所有的m， $\Pi_\varrho(m)\le\Pi_\mathcal A(m)+\Pi_\mathcal B(m)$ 。
• (b)利用Sauer引理证明了当 $m\ge d_\mathcal A+d_\mathcal B+2$ 时， $\Pi_\varrho(m)<2^m$ ，并给出了 $\varrho$ 的vc维的一个界。

25、概念对称差分的vc维数。对于两个集合 $\mathcal A$ 和 $\mathcal B$ ，设 $\mathcal A\Delta\mathcal B$ 表示 $\mathcal A$ 和 $\mathcal B$ 的对称差，也就是， $\mathcal A\Delta\mathcal B=(\mathcal A\cup\mathcal B)-(\mathcal A\cap\mathcal B)$ 。设 $\mathcal H$ 是具有有限vc维的 $\mathcal X$ 子集的非空族。设 $\mathcal A$ 是 $\mathcal H$ 的一个元素，定义 $\mathcal H\Delta\mathcal A=\{X\Delta\mathcal A:X\in\mathcal H\}$ 。表明,

26、对称的功能。函数: $\{0,1\}^n\to\{0,1\}$ 是对称的，如果它的值是由输入中的1的数量唯一决定的。设 $\varrho$ 表示所有对称函数的集合。

• (a)确定 $\varrho$ 的vc维数。
• (b)给出了 $\varrho$ 的任意一致PAC学习算法的样本复杂度的上下限。
• (c)注意，任何假设 $h\in\varrho$ 都可以用向量 $(y_0,y_1,...,y_n)\in\{0,1\}^{n+1}$ 表示，其中 $y_i$ 是具有 $i 1$ 的例子中的 $h$ 值。在此基础上设计 $\varrho$ 的一致学习算法。

27、神经网络的vc维。

设 $\varrho$ 是 $\mathbb R^r$ 上vc维的概念类。带有一个中间层的 $\varrho$ 神经网络是一个定义在 $\mathbb R^n$ 上的概念，可以用一个有向无环图来表示，如图3.7所示，输入节点为底部的节点，每个节点之间用一个概念 $c\in\varrho$ 来标记。

给定输入向量 $(x_1,...,x_n)$ 的表达式如下。首先，每个 $n$ 个输入节点都被标记为 $x_i\in\mathbb R$ 。接下来，对允许以 $u$ 结尾的边的输入节点的值应用 $c$ ，得到上层节点 $u$ 处标记为 $c$ 的值。

图 3.7 有一个中间层的神经网络。

注意，由于 $c$ 的值在 $\{0,1\}$ 中，所以 $u$ 的值在 $\{0,1\}$ 中。顶部节点或输出节点的值同样通过将对应的概念应用于向输出节点承认一条边的节点的值得到。

• (a)设 $\mathcal H$ 表示上述定义的 $k\ge2$ 个内部节点的所有神经网络的集合。证明生长函数 $\Pi_\mathcal H(m)$ 可以由定义在每个中间层的假设集的生长函数乘积的形式上界。

• (b)用它来上界 $\varrho$ 神经网络的vc维(提示:你可以使用 $m=2x\log_2(xy)\Longrightarrow m>x\log_2(ym)$ 对 $m≥1$ 有效， $x, y>0$ 和 $xy>4$ 有效)。

• (c)设 $\varrho$ 是由阈值函数 $\varrho=\{sgn(\sum^r_{j=1}w_ix_j):W\in\mathbb R^r\}$ 定义的概念类族。给出用 $k$ 和 $r$ 表示的 $\mathcal H$ 的vc维的上界。

28、凸组合的vc维数。设 $\mathcal H$ 为从输入空间 $\mathcal X$ 映射到 $\{−1,+1\}$ 的函数族，设 $T$ 为正整数。给出定义的函数族 $\mathcal F_T$ 的vc维的上界

(提示:您可以使用练习3.27及其解决方案)。

29、无限的vc维。

• (a)证明如果一个概念类 $\varrho$ 有无限vc维，那么它不是pac可学习的。
• (b)在标准PAC-learning场景中，学习算法首先接收所有的例子，然后计算它的假设。在这种情况下，如前所述，无法进行无限vc维的概念类PAClearning。
  现在想象一个不同的场景，学习算法可以在绘制更多的例子和计算之间切换。这个问题的目的是证明PAC-learning对于一些具有无限vc维的概念类是可能的。
  例如，考虑所有自然数子集的概念类 $\varrho$ 的特殊情况。Vitres教授对学习算法的第一阶段有一个想法。在第一阶段，L画出足够多的点，使得在观测到的最大值M之外画出点的概率很小，且具有很高的可信度。你能通过描述算法的第二阶段来完成Vitres教授的想法吗?还应该证明L可以通过pac学习 $\varrho$ 。

30、vc维泛化有界可实现的情况。在这个练习中，我们证明了在可实现的设置下，推论3.19中给出的界可以改进为 $O(\frac{d\log(m/d)}{m})$ 。假设我们在可实现的场景中，也就是。目标概念包含在我们的假设类 $\mathcal H$ 中。我们将证明，如果一个假设与样本 $S\sim\mathcal D^m$ 一致，那么对于任意 $\epsilon>0$ , $m\epsilon\ge8$

• (a)设 $\mathcal H_S\subseteq\mathcal H$是与样本 $S$ 一致的假设子集，设 $\hat R_S(h)$ 表示相对于样本 $S$ 的经验误差，并将 $S'$ 定义为另一个从 $\mathcal D^m$ 中抽取的独立样本。证明下列不等式对任意 $h_0\in\mathcal H_S$ 成立:

• (b)证明 $\mathbb P[B(m,\epsilon)>\frac{m\epsilon}{2}]\ge\frac{1}{2}$ 。用这个不等式和(a)的结果来证明对于任意 $h_0\in\mathcal H_S$

• (c)我们可以不画两个样本，而是画一个大小为2m的样本T，然后均匀随机地将其分割为S和S'。(b)部分的右手边可以重写为:

设 $h_0$ 是 $\hat R_T(h_0)>\frac{\epsilon}{2}$ 的假设， $l>\frac{m\epsilon}{2}$ 是 $h_0$ 对T的错误总数，表明所有错误落入 $S'$ 的概率上界为 $2^{-l}$ 。

• (d)部分(b)表明，对于任意 $h\in\mathcal H$

用这个界来证明任意 $h\in\mathcal H$

• (e)利用并界到上界 $\underset{\underset{T\to[S,S']}{T\sim\mathcal D^{2m}:}}{\mathbb P}[\exists h\in\mathcal H:\hat R_S(h)=0\wedge\hat R_{S'}(h)>\frac{\epsilon}{2}]$ 完成不等式(3.54)的证明，证明我们可以得到一个 $O(\frac{d\log(m/d)}{m})$ 阶的高概率泛化界。

31、基于覆盖数的泛化界。设 $\mathcal H$ 是将 $\mathcal X$ 映射到实数 $\mathcal y\subseteq\mathbb R$ 的子集的函数族。对于任意 $\epsilon>0$ , $L_\infty$ 范数 $\mathcal H$ 的覆盖数 $\mathcal N(\mathcal H,\epsilon)$ 为极小 $k\in\mathbb N$ ，使得 $h\in\mathcal H$ 可以被半径为 $\epsilon$ 的 $k$ 个球覆盖，即存在 $\{h_1,...,h_k\}\subseteq\mathcal H$ ，使得对于所有 $h\in\mathcal H$ ，存在 $i≤k$ 与 $||h-h_i||_\infty=\max_{x\in\mathcal X}|h(x)-h_i(x)|\le\epsilon$ 。特别地，当 $\mathcal H$ 是紧集时，可以从半径为 $\epsilon$ 的球的 $\mathcal H$ 覆盖中提取有限覆盖，因此 $\mathcal N$ 是有限的。
覆盖数字提供了一种衡量一类函数复杂性的方法:覆盖数越大，函数族越丰富。这个问题的目的是通过证明平方损失情况下的学习界限来说明这一点。让 $\mathcal D$ 表示 $\mathcal X\times\mathcal Y$ 上的一个分布，根据这个分布可以绘制有标记的例子。然后， $h\in\mathcal H$ 对于平方损失的概化误差由 $R(h)=\mathbb R_{(x,y)\sim\mathcal D}[(h(x)-y)^2]$ 定义，其对于标记样本 $S=((x_1,y_1),...,(x_m,y_m))$ 的经验误差由 $\hat R_S(h)-\frac{1}{m}\sum^m_{i=1}(h(x_i)-y_i)^2$ 定义。我们假设这个有界，即存在 $M>0$ 使得 $|h(x)−y|\le M$ 对于所有 $(x,y)\in\mathcal X\times\mathcal Y$ 。该问题证明的概化界如下:

证明是基于以下步骤。

• (a)设 $L_S=R(h)−\hat R_S(h)$ ，则对于所有的 $h_1,h_2\in\mathcal H$ 以及任意标记的样本，有如下不等式:

• (b)假设 $\mathcal H$ 可以被 $k$ 个子集 $\mathcal B_1,...,\mathcal B_k$ 覆盖，也就是 $\mathcal H=\mathcal B_1\cup...\cup\mathcal B_k$ 。然后，证明对于任意 $\epsilon$ ，下列上界成立:

• (c)最后，设 $k=\mathcal N(\mathcal H,\frac{\epsilon}{8M})$ 为半径为 $\epsilon/(8M)$ ，以 $\mathcal H$ 为中心，覆盖 $h_1,...,h_k$ 的球，用部分(a)表示对于所有 $i\in[k]$ ，

并应用Hoeffding不等式(定理D.2)证明(3.55)。