《机器学习理论导引》笔记目录

• 第一章 : 预备知识
  • 第一章 : 预备知识(上)
  • 第一章 : 预备知识(下)
• 第二章 : 可学性
• 第三章 : 复杂度
• 第四章 : 泛化界
  • 第四章 : 泛化界(上)
  • 第四章 : 泛化界(中)
  • 第四章 : 泛化界(下)
• 第五章 : 稳定性
• 第六章 : 一致性
  • 第六章 : 一致性(上)
  • 第六章 : 一致性(下)
• 第七章 : 收敛率
  • 第七章 : 收敛率(上)
  • 第七章 : 收敛率(下)
• 第八章 : 遗憾界
  • 第八章 : 遗憾界(上)
  • 第八章 : 遗憾界(下)

0 补充感言

  我是真的没有想到这章的内容竟然这么多，之前 (上) 的部分其实在本地我分了两个 markdown 文件，因为单一 markdown 文件太大甚至已经影响到预览的响应速度了。

4.2 泛化误差下界

泛化误差下界的意义

• 指出学习算法能力的极限
• 对于任何学习算法存在一个数据分布，样本数量有限时，学习算法不能以较大概率输出目标概念的近似。

一般证明方法

• 通常采用构造法证明
• 证明的要点 : 如何构造这样的数据分布

4.2.1 可分情形

Fubini 定理

  若函数 $f(x,y)$ 的期望 $\mathbb{E}_{x,y}[|f(x, y)|] < \infty$，则 $\mathbb{E}_x[\mathbb{E}_y[f(x, y)]]=\mathbb{E}_y[\mathbb{E}_x[f(x, y)]]$

---

定理 4.6

  若假设空间 $\mathcal{H}$ 的 VC 维 $d>1$，则对任意 $m>1$ 和学习算法 $\mathcal{L}$，存在分布 $\mathcal{D}$ 和目标概念 $c\in\mathcal{H}$ 使得

  其中 $h_D$ 为学习算法 $\mathcal{L}$ 基于大小为 $m$ 的训练集 $D$ 输出的假设。

证明

  对于给定的 $D\in A$，考虑来自均匀分布 $\mathcal{U}$ 的目标概念 $c : \mathcal{S}\mapsto\{−1, +1\}$，我们可以得到以下结论 :

  上式对于任意 $D\in A$ 均成立，因此关于 $A$ 的期望也成立，有 $\mathbb{E}_{D\in A}[\mathbb{E}_{\mathcal{U}}[E (h_D,c)]]\geqslant2\epsilon$。

  可知交换期望计算顺序不等式依然成立, 即有 $\mathbb{E}_{D\in A}[\mathbb{E}_{\mathcal{U}}[E (h_D,c)]]\geqslant2\epsilon$ 期望的下界为 $2\epsilon$，必定存在一个目标概念 $c^∗\in\mathcal{H}$ 满足 $\mathbb{E}_{D\in A}[\mathbb{E}_{\mathcal{U}}[E (h_D,c^*)]]\geqslant2\epsilon$

  通过上面两个式子，我们有

  借助于这个不等式，有

  接下来，只要找到 $P_{D\sim\mathcal{D}^m}(D\in A)$ 的下界即可证明定理。令 $l_m$ 表示 $\bar{D}$ 的数目，根据 Chernoff 不等式可知，对于 $\gamma>1$，有

  令 $\epsilon = (d − 1)/(32m),\gamma = 1$，可得

  令 $\exp\left(-\frac{1}{12}\right)\leqslant1-7\delta$，可得 $P_{D\sim\mathcal{D}^m}(D\in A)\geqslant7\delta$，再根据

  可知

  取 $\delta=\frac{1}{100}$，从而定理得证。

4.2.2 不可分情形

  对于不可分假设空间的泛化误差下界，主要比较学习算法 $\mathcal{L}$ 的泛化误差与贝叶斯最优分类器泛化误差之间的关系。

引理 4.2

  令 $\sigma$ 为服从 $\{-1,+1\}$ 上均匀分布的随机变量，对于 $0<\alpha<1$ 构造随机变量 $\alpha_{\sigma}=\frac{1}{2}+\frac{\alpha\sigma}{2}$, 基于 $\sigma$ 构造 $X\sim\mathcal{D}_{\sigma}$，其中 $\mathcal{D}_{\sigma}$ 为伯努利分布 $\text{Bernoulli} (\alpha_\sigma)$，即 $P(X=1)=\alpha_\sigma$。令 $\mathcal{S}=\{X_1,\ldots,X_m\}$ 表示从分布 $\mathcal{D}_{\sigma}^m$ 独立同分布采样得到的大小为 $m$ 的集合, 即 $\mathcal{S}\sim \mathcal{D}_{\sigma}^m$，则对于函数 $f : X^m\mapsto \{-1,+1\}$ 有

  其中 $\Phi(m,\alpha)=\frac{1}{4}\left(1-\sqrt{1-\exp\left(-\frac{m\alpha^2}{1-\alpha^2}\right)}\right)$

---

  引理 4.2 可以从投硬币的角度理解 :

• 我们可以将每个样本的标记视为投硬币的结果
• 红硬币投到正面概率为 $\frac{1+\alpha}{2}$，对应于 $\sigma =+1$
• 蓝硬币投到正面概率为 $\frac{1-\alpha}{2}$，对应于 $\sigma =-1$
• 算法需要通过硬币的投掷结果来判断，样本是由红硬币产生的还是蓝硬币产生的，对应于 $f$

  引理 4.2 告诉我们 : 为了区分样本对应哪个硬币，需要其在训练集中出现足够多的次数 ($\Omega(1/\alpha^2)$ 次)

---

引理 4.3

  令 $Z$ 为取值范围为 $[0,1]$ 的随机变量，对于 $\gamma\in[0,1)$ 有

证明

---

定理 4.7

  若假设空间 $\mathcal{H}$ 的 VC 维 $d>1$，则对任意 $m>1$ 和学习算法 $\mathfrak{L}$，存在分布 $\mathcal{D}$ 使得

证明

  $\hat{S}=\{x_1,\ldots,x_d\}\subset X$ 表示能被 $\mathcal{H}$ 打散的集合。对于 $\alpha\in[0, 1]$ 和向量 $\sigma=(\sigma_1;\ldots;\sigma_d)\in\{−1,+1\}^d$，在 $\mathcal{S}\times\mathcal{Y}$ 上构造如下分布 $\mathcal{D}_{\sigma}$

  因为 $\mathcal{S}$ 能被 $\mathcal{H}$ 打散，所以我们可以构造该数据下的贝叶斯最优分类器 $h^∗_{\mathcal{D}_{\sigma}}(x_i) = \argmax_{y\in\{−1,+1\}}P(y|x_i)=\text{sign}(\mathbb{I}(\sigma_i>0) −1/2),i\in[d]$，可知 $h^∗_{\mathcal{D}_{\sigma}}\in\mathcal{H}$，对于 $h^∗_{\mathcal{D}_{\sigma}}$ 计算可得

  对于任意 $h\in\mathcal{H}$ 计算可得

  从而可知

  $\lvert Z\rvert_x$ 表示样本 $x$ 在 $Z$ 中出现的次数

  由于上述关于 $\sigma$ 期望的下界被 $\Phi(m/d + 1,\alpha)$ 限制住，则必定存在 $\sigma^*\in\{-1,+1\}^d$ 使得下式成立

  根据引理 4.3 可知，对于 $\sigma^*$ 以及任意 $\gamma\in[0,1)$ 有

  其中 $u=\Phi(m/d + 1,\alpha)$，令 $\delta$ 与 $\epsilon$ 满足条件 $\delta\geqslant(1-\gamma)u$ 以及 $\epsilon\geqslant\gamma\alpha u$，则有

  为了找到满足条件的 $\delta$ 与 $\epsilon$，令 $\gamma= 1 − 8\delta$，则

  令 $\alpha= 8\epsilon/(1 − 8\delta)$，即 $\epsilon=\gamma\alpha/8$，即

  令 $\delta\leqslant1/64$，可得

  上式右端为关于 $\frac{1}{\epsilon^2}$ 的函数 $f(\frac{1}{\epsilon^2})$，可寻找 $w$ 使得 $m/d\leqslant w/\epsilon^2$。令 $\epsilon\leqslant1/64$，由 $\frac{w}{(1/64)^2} = f\left(\frac{1}{(1/64)^2}\right)$ 可得

  因此, 当 $\epsilon^2\leqslant \frac{1}{320m/d}$ 时，满足 $\delta\leqslant(1 − \gamma)u$ 以及 $\epsilon\leqslant \gamma\alpha u$。取$\epsilon = \sqrt{\frac{d}{320m}}$ 和 $\delta = 1/64$，定理得证