《机器学习理论导引》笔记目录

• 第一章 : 预备知识
  • 第一章 : 预备知识(上)
  • 第一章 : 预备知识(下)
• 第二章 : 可学性
• 第三章 : 复杂度
• 第四章 : 泛化界
  • 第四章 : 泛化界(上)
  • 第四章 : 泛化界(中)
  • 第四章 : 泛化界(下)
• 第五章 : 稳定性
• 第六章 : 一致性
  • 第六章 : 一致性(上)
  • 第六章 : 一致性(下)
• 第七章 : 收敛率
  • 第七章 : 收敛率(上)
  • 第七章 : 收敛率(下)
• 第八章 : 遗憾界
  • 第八章 : 遗憾界(上)
  • 第八章 : 遗憾界(下)

0 感言

  没什么太多感言了，拔刀吧！(orange 主题感觉非常鲜明，最近又把替代函数剩下部分补全了，学习笔记下也应该很快就能发布了)

6.1 基本概念

一些标记

泛化风险

• 泛化风险 : 分类器在分布 $\mathcal{D}$ 上的分类错误率

Bayes 分类器

• 贝叶斯最优分类器 $\boldsymbol{h}^*$ : 在分布 $\mathcal{D}$ 上取得最小错误率的分类器 (简称贝叶斯分类器)

Bayes 风险

• 贝叶斯风险 $R^*$ : 贝叶斯分类器的泛化风险

• 若分布 $\mathcal{D}$ 已知 (即 $\eta(\boldsymbol{x})$ 已知)，则可以直接根据分布给出贝叶斯分类器和贝叶斯风险:

• 因此，

---

引理 6.1 (贝叶斯最优分类器 $\boldsymbol{h}^*$ 和一般的分类器 $\boldsymbol{h}$ 的关系)

  $\forall h:\mathcal{X}\rightarrow\mathcal{Y}$ 和贝叶斯最优分类器 $h^*$，满足

证明

  对任意样本 $x\in\mathcal{X}$，令

  然后有

• 若 $\eta(x)>\frac{1}{2}$ 时，则 $h^*(x)=+1$，于是当 $h(x)=-1$ 时，$\Delta(x)=2\eta(x)-1$，当 $h(x)=+1$ 时，$\Delta(x)=0$，因此 $\Delta(x)=\mathbb{I}(h(x)\ne h^*(x))\lvert1-2\eta(x)\rvert$
• 同理可证当 $\eta(x)\leqslant\frac{1}{2}$ 时成立，引理得证。

---

  若数据分布 $\mathcal{D}$ 未知，常见的方法是通过训练集 $\mathcal{D}_m$ 估计条件概率，然后构建分类器

  这种基于条件概率估计的分类方法被称为插入 (plug-in) 法。

---

引理 6.2

  对插入法的分类器 $h(x)$ 有

证明

  根据引理 6.1 可知 $R(h)-R^*=\mathbb{E}_{\boldsymbol{x}\sim\mathcal{D}_{\mathcal{X}}}\left[\lvert1-2\eta(x)\rvert\mathbb{I}(h(x)\ne h^*(x)\right]$，根据 $h^*(x)=2\mathbb{I}(\eta(x)\geqslant\frac{1}{2})-1$ 和 $h(x)=2\mathbb{I}(\hat{\eta}(x)\geqslant\frac{1}{2})-1$

  当 $\mathbb{I}(h(x)\ne h^*(x)$ 时有 $\mathbb{I}(\hat{\eta}(X)\geqslant\frac{1}{2})\ne\mathbb{I}(\eta(x)\geqslant\frac{1}{2})$

• 若 $\hat{\eta}(x)\geqslant\frac{1}{2}$ 且 $\eta(x)<\frac{1}{2}$，则 $\lvert1-2\eta(x)\rvert=2\lvert\frac{1}{2}-\eta(x)\rvert\leqslant2\lvert\hat{\eta}(x)-\eta(x)\rvert$

• 若 $\hat{\eta}(x)<\frac{1}{2}$ 且 $\eta(x)\geqslant\frac{1}{2}$，则 $\lvert1-2\eta(x)\rvert=2\lvert\frac{1}{2}-\eta(x)\rvert\leqslant2\lvert\hat{\eta}(x)-\eta(x)\rvert$

  由此可得 $R(h)-R^*\leqslant2\mathbb{E}_{\boldsymbol{x}\sim\mathcal{D}_{\mathcal{X}}}\left[\lvert\eta(x)-\hat{\eta}(x)\rvert\right]$，再利用 Jensen 不等式，可得 $R(h)-\mathbb{E}_{\boldsymbol{x}\sim\mathcal{D}_{\mathcal{X}}}\left[\lvert\eta(x)-\hat{\eta}(x)\rvert\right]\leqslant\sqrt{\mathbb{E}_{\boldsymbol{x}\sim\mathcal{D}_{\mathcal{X}}}\left[\lvert\eta(x)-\hat{\eta}(x)\rvert^2\right]}$，引理得证。

---

  学习算法 $\mathfrak{L}$ 基于训练集 $D_m$ 学习得到分类器 $\mathfrak{L}_{D_m}$，随着训练集规模 $m$ 的增加，可以得到一系列分类器 $\mathfrak{L}_{D_1},\mathfrak{L}_{D_2},\ldots,\mathfrak{L}_{D_m},\ldots$

定义 6.1 一致性 (consistency)

  当 $m\rightarrow\infty$，若学习算法 $\mathfrak{L}$ 满足 $\mathbb{E}_{D_m\sim\mathcal{D}^m}\left[R(\mathfrak{L}_{D_m})\right]\rightarrow R(h^*)$，则称学习算法 $\mathfrak{L}$ 是一致的。

  直观来说，一致性反映了在训练数据足够多的情形下，算法 $\mathfrak{L}$ 能否学习得到贝叶斯最优分类器；在理论上，一致性刻画了学习算法 $\mathfrak{L}$ 在无限多数据情形下学习的性能极限。

6.2 替代函数

  对二分类问题，常见的方法是学习一个实值函数 $f:\mathcal{X}\rightarrow\mathbb{R}$，然后根据实值函数输出函数得到分类器

  实值函数 $f$ 在分布 $\mathcal{D}$ 上的泛化风险为

  考虑到 Bayes 风险和 Bayes 实值函数

  给定训练集 $D_m=\{(x_1,y_1),(x_2,y_2),\ldots,(x_m,y_m)\}$ 和实值函数 $f$，函数 $f$ 在训练集 $D_m$ 上的分类错误率为

  其本质上是泛化风险 $R(f)$ 的一种无偏估计，$\mathbb{I}(y_if(x_i)\leqslant0)$ 是非凸不连续的，因此直接优化上式是 NP 难问题。因此在现实算法设计中可以对 $\mathbb{I}(y_if(x_i)\leqslant0)$ 进行凸放松，用一个具有良好数学性质的凸函数 $\phi:\mathbb{R}\mapsto\mathbb{R}$ 进行替代。考虑一般的替代函数

  其中 $\phi$ 是连续的凸函数或光滑的连续函数。替代函数本质上也是损失函数，这里使用 “替代” 主要针对 $0/1$ 目标函数进行连续凸放松的替代。

机器学习中常用的替代函数

• 平方函数 $\phi(t)=(1-t)^2$
• Hinge 函数 $\phi(t)=\max(0,t-1)$
• 指数函数 $\phi(t)=e^{-t}$
• 对率函数 $\phi(t)=\ln(1+e^{-t})$

  常见的替代函数如下图所示

替代泛化风险 (surrogate generalization risk)

• 替代泛化风险 : 给定替代函数 $\phi$，它在数据分布 $\mathcal{D}$ 上的泛化风险，定义为

• 最优替代泛化风险 :

• 替代经验风险 (surrogate empirical risk)，它是替代泛化风险 $R_{\phi}(f)$ 在训练集上的无偏估计

---

定义 6.2 替代函数一致性

  随着训练数据规模 $m\rightarrow\infty$，通过优化替代经验风险得到一系列输出函数 $\hat{f}_1,\hat{f}_2,\ldots,\hat{f}_m,\ldots$ 若 $R_{\phi}(\hat{f}_m)\rightarrow R_{\phi}^*$ 时有 $R(\hat{f}_m)\rightarrow R^*$ 成立，则称替代函数 $\phi$ 对原目标函数具有一致性，简称替代函数一致性

  下面研究满足什么性质的替代函数，才具有对原 $0/1$ 目标函数的一致性，根据替代泛化风险和最优替代泛化风险的定义，我们有

  从而得到替代函数的最优实值输出函数 $f_{\phi}^*(x)$ 为

---

定理 6.1 替代函数一致性的充分条件

  对替代函数 $\phi$，若最优实值输出函数满足 $f_{\phi}^*\in\mathcal{F}^*$，且存在常数 $c>0$ 和 $s\geqslant1$ 使

证明

  回顾一致性的定义，我们发现当 $R(\hat{f}_m)\rightarrow R^*$ 与 $R_{\phi}(\hat{f}_m)\rightarrow R^*_{\phi}$ 时，替代函数满足一致性要求。

  故证明分为以下三点

• 计算 $R(\hat{f}_m)\rightarrow R^*$
• 计算 $R_{\phi}(\hat{f}_m)\rightarrow R^*_{\phi}$
• 将 $R(\hat{f}_m)\rightarrow R^*$ 与 $R_{\phi}(\hat{f}_m)\rightarrow R^*_{\phi}$ 相结合

  下面沿着思路划分开始证明

1. 计算 $R(\hat{f}_m)\rightarrow R^*$

  回顾

  所以

  其中

• 根据 $\eta(x)-\frac{1}{2}$ 和 $f(x)$ 的不同取值，分五种情况讨论 $\Delta_1(x)$ :
  • $\eta(x)>\frac{1}{2}$且 $f(x)>0$ 时，有 $\Delta_1(x)=0$
  • $\eta(x)>\frac{1}{2}$且 $f(x)\leqslant0$ 时，有 $\Delta_1(x)=2\eta(x)-1$
  • $\eta(x)<\frac{1}{2}$且 $f(x)\geqslant0$ 时，有 $\Delta_1(x)=1-2\eta(x)$
  • $\eta(x)<\frac{1}{2}$且 $f(x)<0$ 时，有 $\Delta_1(x)=0$
  • $\eta(x)=\frac{1}{2}$，$\Delta_1(x)=0$

  所以有

  根据 Jensen 不等式 $(\mathbb{E}[X])\leqslant\sqrt[\mathcal{S}]{\mathbb{E}[X^{\mathcal{S}}]}$，有

  定义

  在充分条件下，

2. 计算 $R_{\phi}(\hat{f}_m)\rightarrow R^*_{\phi}$

  回顾

  所以

  这里 $\Delta_3(x)$ 正好包含在充分条件中。

3. 将 $R(\hat{f}_m)\rightarrow R^*$ 与 $R_{\phi}(\hat{f}_m)\rightarrow R^*_{\phi}$ 相结合

  下面即证明 $\phi(0)\leqslant\Delta_2(x)$，令 $\Gamma(t)=\eta(\boldsymbol{x}) \phi(t)+(1-\eta(\boldsymbol{x})) \phi(-t)$ 现在 $\Gamma(f(x))=\Delta_2(x)$ 和 $\Gamma(0)=\phi(0)$，根据凸函数的性质可知，当 $\phi(t)$ 是凸函数时 $\Gamma(t)$ 也是凸函数，以及当 $0\in[a,b]$ 时有 $\Gamma(0)\leqslant\max\{\Gamma(a),\Gamma(b)\}$。下面分三种情况讨论 :

• 若 $\eta(x)>\frac{1}{2}$，则 $f^*_{\phi}(x)>0$，由 $\left(\eta(x)-\frac{1}{2}\right)f(x)\leqslant0$ 可知 $f(x)\leqslant0$，故 $\phi(0)=\Gamma(0)\leqslant\max\{\Gamma(f(x)),\Gamma(f_{\phi}^∗(x))\}$，又因为 $\Gamma(f(x))\geqslant\Gamma(f_{\phi}^∗(x))$，于是 $\phi_0\leqslant\Gamma(f(x))=\Delta_2(x)$

• 若 $\eta(x)<\frac{1}{2}$，同理有 $f^*_{\phi}(x)<0,f(x)\geqslant0$，以 $\phi(0)=\Gamma(0)\leqslant\max\{\Gamma(f(x)),\Gamma(f_{\phi}^∗(x))\}=\Gamma(f(x))=\Delta_2(x)$

• 若 $\eta(x)=\frac{1}{2}$，对凸函数 $\phi$ 有 $\phi(0)\leqslant\frac{\phi(f(x))}{2}+\frac{\phi(-f(x))}{2}=\Delta_2(x)$

证毕。

支持向量机 (support vector machine, SVM)

  支持向量机 (support vector machine, SVM) 的替代函数是 hinge 函数

  在这个实例中，我们希望证明 hinge 函数的一致性。

---

引理 6.3

  优化 hinge 函数 $\phi(t)=\max(0,1-t)$ 得到输出函数

  是最优实值输出函数，其对应的最优替代泛化风险为 $R_{\phi}^*=2\mathbb{E}_{x \sim \mathcal{D}_{\mathcal{X}}}[\min\left(\eta(x),1-\eta(x)\right)]$。

证明

   将 hinge 函数 $\phi(t)=\max(0,1-t)$ ，代入可得

  令 $\alpha=f(\boldsymbol{x})$，则有

  根据 $f_{\phi}^*(x)=\argmin_{\alpha\in\mathbb{R}}g(\alpha)$

  将函数 $f_{\phi}^*(x)$ 代入替代泛化风险可得

  引理得证

---

定理 6.2

  hinge 函数 $\phi(t)=\max(0,1-t)$ 针对原 $0/1$ 目标函数具有替代一致性。

证明

  根据引理 6.3 可知优化 hinge 函数 $\phi(t)= \max(0,1-t)$ 所得的最优实值输出函数 $f_\phi^*(x)= \begin{cases}\operatorname{sign}(2 \eta(x)-1) & \eta(x) \neq 1 / 2 \\ \forall c \in[-1,1] & \eta(x)=1 / 2\end{cases}$，显然 $f_\phi^*(x)\in\mathcal{F}^*$。

  给定样本 $x\in\mathcal{X}$，我们有

• 当 $\eta(x)>\frac{1}{2}$ 时，$f_\phi^*(x)=1$，$\phi(0)-\eta(x)\phi\left(f_\phi^*(x)\right)-(1-\eta(x))\phi\left(-f_\phi^*(x)\right)=2\left\lvert\eta(x)-\frac{1}{2}\right\rvert$
• 当 $\eta(x)<\frac{1}{2}$ 时，$f_\phi^*(x)=-1$，$\phi(0)-\eta(x)\phi\left(f_\phi^*(x)\right)-(1-\eta(x))\phi\left(-f_\phi^*(x)\right)=2\left\lvert\eta(x)-\frac{1}{2}\right\rvert$
• 当 $\eta(x)=\frac{1}{2}$ 时，$f_\phi^*(x)\in[-1,+1]$，$\phi(0)-\eta(x)\phi\left(f_\phi^*(x)\right)-(1-\eta(x))\phi\left(-f_\phi^*(x)\right)=2\left\lvert\eta(x)-\frac{1}{2}\right\rvert$

  取 $c=\frac{1}{2},s=1$，由定理 6.1 可知 hinge 函数针对原 $0/1$ 函数具有替代一致性，定理得证。

---

  支持向量机常用的另一种替代函数是平方 hinge 函数:

定理 6.3

  证明平方 hinge 函数的一致性。

证明

  当 $f^*_{\phi}\in\mathcal{F}^*$ 且 $\exists\ c>0,s\geqslant1$ 使得

  则替代函数 $\phi$ 是一致的。我们同时有 $f^*_{\phi}(x)=2\eta(x)-1,\phi(f^*_{\phi}(x))=(1-f^*_{\phi}(x))^2$，将 $f^*_{\phi}(x)$ 代入可得

  让 $c=\frac{1}{2},s=2$，即可得证