《机器学习理论导引》笔记目录

• 第一章 : 预备知识
  • 第一章 : 预备知识(上)
  • 第一章 : 预备知识(下)
• 第二章 : 可学性
• 第三章 : 复杂度
• 第四章 : 泛化界
  • 第四章 : 泛化界(上)
  • 第四章 : 泛化界(中)
  • 第四章 : 泛化界(下)
• 第五章 : 稳定性
• 第六章 : 一致性
  • 第六章 : 一致性(上)
  • 第六章 : 一致性(下)
• 第七章 : 收敛率
  • 第七章 : 收敛率(上)
  • 第七章 : 收敛率(下)
• 第八章 : 遗憾界
  • 第八章 : 遗憾界(上)
  • 第八章 : 遗憾界(下)

0 感言

  在整理这一章时自己也是很迷茫的，感觉数学公式都看着很眼熟但是就是不会证明，以及感觉中间感觉如果按照自己这样码字下去将是一个工程量巨大的活。但是最后思来想去还是觉得：没有痛苦的学习就欠缺理解，数学公式如果浮于表面而不深入理解则在理解后续中将更加困难，想要深入学习就不能自己骗自己。幸运的是公示在维基百科和一些专栏中有证明，事情变得明朗起来了！前面的大部分基础的公式都进行了自己证明的复现，后面的希望在自己看到相关工作的时候知道回来翻一翻看一看。

  同时一开始想的是一章一个笔记，但是实在是工程量巨大，所以每章分成上、下或者上、中、下以保持整体可读性以及自己更文积极性。

2022.4.15更新日志

  找到了组里之前同学做的PPT，发现有了很好的已有材料可以来借鉴与丰富，在此表示感谢！

1.1 函数的性质

1.1.1 凸集 (convex set)

两个凸集 $C$ 中的点 $x_1,x_2\in C$ 的连线仍属于凸集 $C$，即 $\theta x_1+(1-\theta)x_2\in C, \ \forall \ 0\leqslant\theta\leqslant1$

1.1.2 凸函数 (convex function)

对定义在凸集上的函数 $f:\mathbb{R}^d\mapsto \mathbb{R}$，令 $\Psi$ 表示其定义域，若 $\forall \bold x,\bold z\in \Psi$ 满足

则称 $f(\cdot)$是一个凸函数

图例1.凸函数的示意图

1.1.3 凹函数 (concave function)

凸函数中的不等式反号，即

则称 $f(\cdot)$是一个凹函数

1.1.4 梯度 (gradient)

对定义在凸集上的函数 $f:\mathbb{R}^d\mapsto \mathbb{R}$ 的梯度记为 $\nabla f(\bold x)=(\frac{\partial f(\bold x)}{\partial x_1},...,\frac{\partial f(\bold x)}{\partial x_d})\in\mathbb{R}^d$. 则其为凸函数当且仅当其定义域 $\Psi$ 是凸集且 $\forall \bold x,\bold z\in \Psi$ 都有

1.1.5 强凸函数 (strongly convex function)

对定义在凸集上的函数 $f:\mathbb{R}^d\mapsto \mathbb{R}$，若 $\exists\lambda\in\mathbb{R}_{+}$ 使得 $\forall \bold x,\bold z\in \Psi$ 都有

则称 $f(\cdot)$是一个$\lambda$-强凸函数，若$f(\cdot)$可微，则又有

关于强凸函数的理解：不仅要求函数曲线在其切线“上方”，同时也要求函数曲线较切线大于$\frac{\lambda}{2}\lVert \bold z -\bold x\rVert^2$的二次函数距离

1.1.6 $l-\rm Lipschitz$ 连续 与 $l-$光滑

对定义在凸集上的凸函数 $f:\mathbb{R}^d\mapsto \mathbb{R}$，若 $\exist\ l\in\mathbb{R}_{+}$ 对 $\forall \bold x,\bold z\in \Psi$ 都有

则称$f(\cdot)$为 $l-\rm Lipschitz$ 连续的，若可微函数$f(\cdot)$的梯度 $\nabla f(\cdot)$ 满足 $l-\rm Lipschitz$ 连续，则称$f(\cdot)$为 $l-$光滑

1.1.7 Hessian矩阵与凸性

对定义在凸集上的函数 $f:\mathbb{R}^d\mapsto \mathbb{R}$ 二阶导数矩阵(Hessian矩阵) 记为$\nabla^2 f(\bold x)\in\mathbb{R}^{d\times d}$，其中$\nabla^2 f(\bold x)_{ij}=\frac{\partial^2f(\bold x)}{\partial x_i\partial x_j}$，若$f(\cdot)$二阶可微，则其为凸函数当且仅当$\nabla^2 f(\bold x)\succeq 0$，即其为半正定矩阵。

1.1.8 共轭函数 (conjugate function)

函数 $f:\mathbb{R}^d\mapsto \mathbb{R}$的共轭函数定义为

其定义域为

直观来看，共轭函数$f_*(\bold z)$反应的是线性函数$\bold z^T\bold x$与$f(\bold x)$之间的最大差值。同时，共轭函数也具有一些很好的性质

• 共轭函数 $f_*(\bold z)$ 一定是凸函数
• 若函数$f$可微，则

1.2 重要不等式

1.2.1 Jensen 不等式

对任意凸函数 $f(\cdot)$ 有

由Jensen不等式可知 $(\mathbb{E}[X])^2\leqslant\mathbb{E}[X^2]$

1.2.2 H$\rm \ddot{o}$lder 不等式

对 $p,q\in\mathbb{R}_+$ 且 $\frac{1}{p}+\frac{1}{q}=1$ ，有

证明：

引理1. (杨氏Young不等式)：假设 $a,b,p,q$ 是正实数，且有$\frac{1}{p}+\frac{1}{q}=1$ 则有$ab\leqslant\frac{a^p}{p}+\frac{b^q}{q}$

继续证明

1.2.3 Cauchy-Schwarz 不等式

• 对任意随机变量 $X,Y$

• 对任意向量 $x,y\in\mathbb{R}^d$

• 对任意向量 $x,y\in\mathbb{R}^d$ 和正定矩阵 $\bold{A}\in\mathbb{R}^{d\times d}$

其中$\lVert x\rVert_{\bold{A}}=\sqrt{x^T\bold{A}x}$

证明如下

1.2.4 Lyapunov 不等式

对 $0<r\leqslant S$

证明

可以知道$f(x)=|x|^{\frac{s}{r}}$在非去等条件下为凸函数，构造变量$|X|^r$加上 $Jensen$ 不等式即可知其成立

1.2.5 Minkowski 不等式

对$1\leqslant p$

证明

相消即得

1.2.6 Bhatia-Davis 不等式

对 $X\in[a,b]$

证明

1.2.7 联合界 (Union Bound) 不等式

1.2.8 Markov 不等式

对 $X\geqslant0,\ \forall\epsilon>0$

证明

1.2.9 Chebyshev 不等式

$\forall\epsilon>0$ 有

证明

1.2.10 Cantelli 不等式

$\forall\epsilon>0$ 有

证明

1.2.11 Chernoff 不等式

其多变量形式为：对m个独立同分布的随机变量 $X_i\in\{0,1\},i\in[m]$，令 $\bar{X}=\frac{1}{m}=\sum^m_{i=1}X_i$，对 $r\in[0,1]$ 有

下面仅对多变量形式进行证明 设$P(X_i=1) =p_i,\mathbb{E}[\bar{X}]=\mu$，由单变量形式的 Chernoff 不等式，对 $\forall t>0$，有

在 $t=m\ln{(1+r)}$ 时取到最小值 $(\frac{e^r}{(1+r)^{(1+r)}})^{(m\mu)}$，注意到 $\frac{2r}{ 2+r}\leqslant\ln{(1 + r)}$，从而有 $(\frac{e^r}{(1+r)^{(1+r)}})^{(m\mu)}\leqslant e^{-\frac{mr^2\mu}{2+r}}\leqslant e^{-\frac{mr^2\mu}{3}}$

对另一个不等式，有

上式在 $t=−m\ln{(1−r)}$ 时达到最小值 $(\frac{e^{−r}}{(1−r)^{(1−r)}})^{(m\mu)}$，注意到 $r−\frac{1}{r}\leqslant 2\ln{r}$，从而有$P(\bar{X}\leqslant(1 − r)\mu)\leqslant(\frac{e^{−r}}{ (1−r)^{(1−r)}})^{(mµ)}\leqslant e^{\frac{-mr^2\mu}{2}}$

1.2.12 Hoeffding 不等式

对m个独立随机变量 $X_i\in[0,1],i\in[m]$，令 $\bar{X}= \frac{1}{m}\sum_{i=1}^{m}X_i$，有

Hoeffding 不等式的另一种形式，令 $\delta=e^{-2m\epsilon^2}$，则至少以 $1-\delta$ 的概率有

若考虑 $X_i\in[a,b],i\in[m]$，则得到 Hoeffding 不等式的更一般的形式

证明：

先引入一个引理 (a lemma of Hoeffding’s Inequailty)：X 为有界随机变量，$X\in[a,b]$，则$\mathbb{E}[e^{\lambda(X−\mathbb{E}[X])}]\leqslant\exp{(\frac{\lambda^2{(b − a)}^2}{8})}$

引理证明：先考虑 $\mathbb{E}[X]=0$ 的情形。对 $f(x) = e^{\lambda x}$ 为凸函数，由 Jensen 不等式，对任意 $s\in[0, 1]$，有

代入$s=\frac{b-X}{b-a}$有

再令 $L(h)= \ln{(1 −\theta + \theta e^h)} − h\theta$，注意到 $L(0)=L'(0)=0$，且 $L''(x)=\frac{\theta\cdot e^x}{1-\theta+\theta\cdot e^x}(1-\frac{\theta\cdot e^x}{1-\theta+\theta\cdot e^x})\leqslant\frac{1}{4}$，由带 lagrange 余项的 Taylor 定理，存在 $\phi\in(0,h)$ 使得 $L(h) = L(0) + L′(0)h + \frac{1}{2}L''(\phi)h^2\leqslant\frac{1}{8}h^2$m，则 $\mathbb{E}[e^{\lambda X}]\leqslant\exp{(\frac{\lambda^2{(b − a)}^2}{8})}$

再考虑 $\mathbb{E}[X] \ne 0$ 的情形，此时令 $\hat{X}=X-\mathbb{E}[X]$，则 $\hat{X}\in[a-\mathbb{E}[X],b-\mathbb{E}[X]]:=[\hat{a},\hat{b}]$，令 $\hat{h}:=\lambda(\hat{b}-\hat{a})=\lambda(b-a)=h$，从而转化成$\mathbb{E}[X]=0$ 的情形，引理得证。

推论：若 X 满足 $E[X|\mathcal{F}] = 0$，由同样的步骤能得到

回到原来不等式：

于是由 $\lambda > 0$ 任意性 $P(\bar{X}-\mathbb{E}[\bar{X}]\geqslant\epsilon)\leqslant\min_{\lambda>0}\exp{(\frac{\lambda^2}{8m}-\lambda\epsilon)}=e^{-2m\epsilon^2}$

1.2.13 McDiarmid 不等式

对m个独立随机变量 $X_i\in\chi,i\in[m]$，若 $f:\chi^m\rightarrow\mathbb{R}$ 是关于$X_i$的实值函数且 $\forall x_1,...,x_m,x_i'\in\chi$ 有

则 $\forall\epsilon>0$ 有

证明

取 $Z_i = \mathbb{E}[f|\mathcal{F}_i], Z_0 = \mathbb{E}[f]$，则由全期望公式，$\mathbb{E}[Z_i] = \mathbb{E}[\mathbb{E}[f|\mathcal{F}_i]] = \mathbb{E}[f]<\infty,\mathbb{E}[Z_i|\mathcal{F}_{i-1}]=\mathbb{E}[\mathbb{E}[f|\mathcal{F}_i]|\mathcal{F}_{i-1}]=\mathbb{E}[f|\mathcal{F}_{i-1}]=Z_{i-1}$，从而 $\{Z_i\}$ 关于自身为鞅。

下面考虑 $Z_i − Z{i−1} = \mathbb{E}[f|\mathcal{F}_i] − \mathbb{E}[f|\mathcal{F}_{i-1}]$ 的界。令

此时有 $L_i\leqslant Z_i − Z_{i−1}\leqslant U_i$

而

从强化版的 Azuma 不等式，有:

1.2.14 Bennett 不等式

对m个独立同分布的随机变量 $X_i,i\in[m]$，令 $\bar{X}= \frac{1}{m}\sum_{i=1}^{m}X_i$，若 $X_i-\mathbb{E}[X_i]\leqslant1$，有

在机器学习研究中常用到 Bennett 不等式的另一种形式，若

则至少以 $1-\delta$ 的概率有

证明：实际上由 $|X_i−\mathbb{E}[X_i]|\leqslant1$，有 $\mathbb{E}[|X_i−\mathbb{E}[X_i]|^k]\leqslant 1^{k−2}\mathbb{E}[|X_i − \mathbb{E}[X_i]|^2]=\mathbb{D}[Xi]$，从而利用 Bernstein 不等式，取 $b=\frac{1}{3}$ 即是一个满足不等式条件的 b，带入得到结论。

1.2.15 Bernstein 不等式

对m个独立同分布的随机变量 $X_i,i\in[m]$，令 $\bar{X}= \frac{1}{m}\sum_{i=1}^{m}X_i$，若存在 $b>0$ 使得 $\forall k\geqslant2$ 有 $\mathbb{E}[|X_i|^k]\leqslant k!b^{k-2}\mathbb{D}[X_1]/2$ 成立，则有

证明：对任意 $\lambda\geqslant0$ 有

又由单变量形式 Chernoff 不等式

取 $\lambda = \frac{\epsilon}{b\epsilon+\sum^m_{i=1}\frac{\mathbb{D}[X_i]}{m}}< \frac{1}{b}$，从而有 $P(\bar{X}−\mathbb{E}[\bar{X}]\geqslant\epsilon)\leqslant\exp(\frac{-m\epsilon^2}{2\mathbb{D}[X_i]+2b\epsilon})$

1.2.16 Azuma 不等式

对于均值为 $\mu$ 的鞅(martingale) $\{Z_m,m\geqslant1\}$，令 $Z_0=\mu$，若 $-c_i\leqslant Z_i-Z_{i-1}\leqslant c_i$，则 $\forall\epsilon>0$

证明：下给出一个更强结论的证明, 这可以直接导出书中的不等式

对于鞅 $\{Z_m\}_{m\geqslant1}$ 令 $Z_0 = \mathbb{E}[Z]$，若 $A_i\leqslant Z_i − Z_{i−1} \leqslant B_i$，且 $B_i − A_i \leqslant C_i$，则对任意 $\epsilon > 0$ 有

强化定理证明

再由 Hoeffding 不等式中证明的引理

而此式极小值在 $\lambda = \frac{4\epsilon}{\sum_{i=1}^nC_i^2}$ 时取到，由原不等式中 $\lambda$ 的任意性，带入有 $P(Z_n − Z_0\geqslant\epsilon)\leqslant\exp{(-\frac{2\epsilon^2}{(\sum_{i=1}^nC_i^2)})}$