《机器学习理论导引》笔记目录

• 第一章 : 预备知识
  • 第一章 : 预备知识(上)
  • 第一章 : 预备知识(下)
• 第二章 : 可学性
• 第三章 : 复杂度
• 第四章 : 泛化界
  • 第四章 : 泛化界(上)
  • 第四章 : 泛化界(中)
  • 第四章 : 泛化界(下)
• 第五章 : 稳定性
• 第六章 : 一致性
  • 第六章 : 一致性(上)
  • 第六章 : 一致性(下)
• 第七章 : 收敛率
  • 第七章 : 收敛率(上)
  • 第七章 : 收敛率(下)
• 第八章 : 遗憾界
  • 第八章 : 遗憾界(上)
  • 第八章 : 遗憾界(下)

0 感言

  感觉这章整体而言自己理解得并不充分，更多像是把周老师的教材进行打印，之后有时间我会重新进行整理的。

7.3 随机优化

7.3.1 凸函数

  下给出随机优化的代表性算法——随机梯度下降法 (Stochastic Gradient Descent，SGD) 的流程。

  其中要求 $\boldsymbol{w}_t$ 的随机梯度 $\boldsymbol{g}_t$ 是真实梯度 $\nabla f(\boldsymbol{w}_t)$ 的无偏估计，即 :

  上述方法非常适合机器学习问题。下面以监督学习为例，监督学习的最终目标是最小化泛化风险，令数据分布为 $\mathcal{D}$，可以用风险最小化 (Risk Minimization) 的方法来描述监督学习的目标 :

  其中 $\boldsymbol{z} \in \mathcal{D}$ 表示 $\boldsymbol{z}$ 是从数据分布 $\mathcal{D}$ 中采样获得，$\ell(\cdot,\cdot)$ 为损失函数，但是在现实场景中很难直接获得真实的数据分布 $\mathcal{D}$，因此经常采用经验风险最小化 (Empirical Risk Minimization，ERM) 的方法来近似风险最小化的目标 : 从数据分布 $\mathcal{D}$ 中采样获得 $m$ 个样本 $\boldsymbol{z}_1,\boldsymbol{z}_2,\cdots,\boldsymbol{z}_m,\forall \boldsymbol{z}_i=(\boldsymbol{x}_i,y_i)$，$\boldsymbol{x}_i$ 为样本特征，$y_i$ 为样本标记，然后用这 $n$ 个样本来近似风险最小化的目标 :

  当 $m$ 很大的时候计算代价很高，因此采用随机梯度下降法 (Stochastic Gradient Descent，SGD) 来近似风险最小化的目标，将上述算法中第 3 步改为下式即可 :

  其中 $\boldsymbol{z}_t$ 表示从数据分布 $\mathcal{D}$ 中随机采样获得的样本，从上面的描述可以看出随机梯度下降每轮迭代只需要利用 1 个样本。而对于一般的 Lipschitz 连续凸函数，随机梯度下降法的收敛速度为 $O(\frac{1}{\sqrt{T}})$，具体有如下定理 :

---

定理 7.4 随机梯度下降收敛率 假设目标函数的随机梯度有上界，且可行域有界，则随机梯度下降的收敛率为 $O(\frac{1}{\sqrt{T}})$。

证明 假设随机梯度上界为 $l$，可行域 $\mathcal{W}$ 直径为 $\Gamma$，即对于任意 $t\in[T],u,v\in\mathcal{W}$

  同样为了简化分析，考虑固定的步长 $\eta_t=\eta$，则对于任意的 $w\in\mathcal{W}$，

  对上面的不等式从 $t=1$ 到 $t=T$ 求和，得到

  最后，依据 Jensen 不等式，有

  可以看出，上式与章节 7.2.1 中梯度下降分析的结果的区别在于多了一项 $\frac{1}{T} \sum_{t=1}^T\left\langle\nabla f\left(\boldsymbol{w}_t\right)-\mathbf{g}_t, \boldsymbol{w}_t-\boldsymbol{w}\right\rangle$

  下面证明随机梯度下降算法期望意义上的收敛率，利用 $\boldsymbol{w}_t$ 的随机梯度 $\boldsymbol{g}_t$ 是真实梯度 $\nabla f(\boldsymbol{w}_t)$ 的无偏估计，有

  对于上面的不等式求期望有

  其中令 $\eta=\Gamma/(l\sqrt{T})$

  前面的分析证明了从期望意义上的收敛率，为了分析随机梯度下降算法的理论保障，将利用针对鞅差序列的 Azuma 不等式，利用 $\boldsymbol{w}_t$ 的随机梯度 $\boldsymbol{g}_t$ 是真实梯度 $\nabla f(\boldsymbol{w}_t)$ 的无偏估计，可知 $\langle\nabla f(\boldsymbol{w}_1)-g_1,\boldsymbol{w}_1-\boldsymbol{w}\rangle,\ldots$ 组成一个鞅差序列，有

  上式的推导过程中利用了 Jensen 不等式获得 $\lVert\nabla f(\boldsymbol{w}_t)\rVert$ 的上界

  根据 Azuma 不等式推论 $P\left(\sum_{i=1}^m X_i \geqslant \epsilon\right) \leqslant e^{-\epsilon^2 / 2 \sum_{i=1}^m c_i^2}$，以至少 $1-\delta$ 的概率有

  将上式代入前面的不等式，以至少 $1-\delta$ 的概率有

7.3.2 强凸函数

  为了处理强凸函数，引入阶段随机梯度下降 (Epoch-GD) 算法，其流程如下 :

  若目标函数 $f:\mathcal{W}\mapsto\mathbb{R}$ 是 $\lambda$-强凸的，在期望意义上的 Epoch-GD 的额外风险界为 $O(1/[\lambda T])$，下进行相关证明

---

引理 7.1 将 Epoch-GD 的参数设置为 $T_1=4$ 和 $\eta_1=1/\lambda$，$l$ 为随机梯度的上界，令 $\Delta_k=f(\boldsymbol{w}_1^k)-f(\boldsymbol{w}^*),V_k=l^2/(\lambda2^{k-2})$，对于任意的 $k$

证明 当随机梯度的上界为 $l$ 时，根据先前推论 $\left\|\nabla f\left(\boldsymbol{w}_t\right)\right\|=\left\|\mathbb{E}\left[\mathbf{g}_t\right]\right\| \leqslant \mathbb{E}\left[\left\|\mathbf{g}_t\right\|\right] \leqslant l$ 可知，真实梯度的上界也为 $l$。因此，定理 7.2 成立。然后易知下面式子成立 :

  下使用数学归纳法来进行证明

• 当 $k=1$ 时，引理成立 :

  $$\mathbb{E}\left[\Delta_1\right]=\mathbb{E}\left[f\left(\boldsymbol{w}_1^1\right)-f\left(\boldsymbol{w}^*\right)\right] \leqslant \frac{2 l^2}{\lambda}=\frac{l^2}{\lambda 2^{1-2}}=V_1$$

• 假设对于某正整数 $k\geqslant1$，引理仍成立 $\mathbb{E}\left[\Delta_k\right] \leqslant V_k=l^2/(\lambda2^{k-2})$

• 对于正整数 $k+1$，令 $\mathbb{E}_k[X]$ 为前 $k$ 轮的期望，则有

  $$\begin{aligned} \mathbb{E}_k\left[f\left(\boldsymbol{w}_1^{k+1}\right)\right]-f\left(\boldsymbol{w}^*\right) & \leqslant \frac{\eta_k l^2}{2}+\frac{\left\|\boldsymbol{w}^*-\boldsymbol{w}_1^k\right\|^2}{2 \eta_k T_k} \\ & \leqslant \frac{\eta_k l^2}{2}+\frac{\Delta_k}{\eta_k T_k \lambda} . \end{aligned}$$

  因此，$k+1$ 的时候情况也成立 :

  引理得证。

---

定理 7.5 Epoch-GD 的收敛率 当目标函数 $f(\cdot)$ 为 $\lambda$-强凸时，Epoch-GD 期望意义上的收敛率为 $O(\frac{1}{T})$。

证明 Epoch-GD 外层循环的轮数，是由满足 $\sum_{i=1}^kT_i\leqslant T$ 的最大 $k$ 决定的。由于

  因此，最后一轮迭代的轮数 $k^{\dagger}=\left\lfloor\log _2\left(T / T_1+1\right)\right\rfloor$，而算法的最后输出是 $\boldsymbol{w}_1^{k^{\dagger}+1}$，根据引理 7.1，有

  定理得证。

---

定理 7.6 针对鞅的 Bernstein 不等式 假设 $X_1,\ldots,X_n$ 是定义在 $f=(f_i)_{1\leqslant i\leqslant n}$ 上的有界鞅差分序列，且满足 $\left|X_i\right|\leqslant M$，令

  为对应的鞅，将条件方差 (conditional variance) 记为

  那么对于任意的正数 $t$ 和 $v$，有

  因此可以得到

  分析内层循环的随机梯度下降在强凸函数下的收敛性质，有以下引理 :

---

引理 7.2 假设随机梯度上界为 $l$，目标函数 $f(\cdot)$ 为 $\lambda$-强凸。运行 $T$ 轮的随机梯度下降更新

  其中 $\mathbf{g}_t$ 是函数 $f(\cdot)$ 在 $\boldsymbol{w}_t$ 处的随机梯度，以至少 $1-\delta$ 的概率有

  其中 $m=\lceil2\log_2T\rceil$

证明 由于 $f(\cdot)$ 是强凸的，因此

  对其从 $t=1$ 到 $T$ 进行求和，有

  定义鞅差序列

  为了得到 $\sum_t\delta_t$ 的上界，将利用剥离技术 (peeling technique) 和针对鞅的 Bernstein 不等式。首先，注意到上面的鞅差序列是有界的 :

  对于条件方差，下面的不等式成立 :

• 当 $A_T \leqslant \frac{4 l^2}{\lambda^2 T}$ 时
  $$\sum_{t=1}^T \delta_t \leqslant 2 l \sum_{t=1}^T\left\|\boldsymbol{w}_t-\boldsymbol{w}^*\right\| \leqslant 2 l \sqrt{T} \sqrt{\sum_{t=1}^T\left\|\boldsymbol{w}_t-\boldsymbol{w}^*\right\|^2} \leqslant \frac{4 l^2}{\lambda}$$
• 当 $A_T \in\left(\frac{4 l^2}{\lambda^2 T}, \frac{4 l^2 T}{\lambda^2}\right]$ 时，分解成 $m=\lceil2\log_2T\rceil$ 种可能，即
  $$A_T \in\left(2^{i-1} \frac{4 l^2}{\lambda^2 T}, 2^i \frac{4 l^2}{\lambda^2 T}\right], i=1, \ldots,\left\lceil 2 \log _2 T\right\rceil$$

  综合上面两种情况，通过一系列变换可以证明

  然后令 $\tau=\log\frac{m}{\delta}=\log\frac{\lceil2\log_2T\rceil}{\delta}$ 可得，以至少 $1-\delta$ 的概率有

  将其代入上面的累加式，以至少 $1-\delta$ 的概率有

  引理得证。

---

  利用引理 7.2 分析 Epoch-GD 外层循环的性质，得到如下引理 :

引理 7.3 令 $\delta\in(0,1)$ 表示失败的概率，定义

  其中 $\alpha$ 为满足以下条件的最小偶数

  将 Epoch-GD 的参数设置为 $T_1=\alpha/2$ 和 $\eta_1=1/\lambda$，对于任意的 $k$，以至少 $(1-\tilde{\delta})^{k-1}$ 的概率有

证明 根据 $\alpha$ 的满足条件可知，$\alpha\geqslant24$，因此

  由上式解出 $\delta$ 代回，可得

  对引理 7.1 中的部分推论进行改写

  继续使用数学归纳法

• $k=1$ 时，根据定理 7.2，命题显然成立
• 假设对于正整数 $k\geqslant1$，$\Delta_k\leqslant V_k$ 以至少 $(1-\tilde{\delta})^{k-1}$ 的概率成立
• 考虑 $k+1$ 时，结合定理 7.2，以至少 $(1-\tilde{\delta})\cdot(1-\tilde{\delta})^{k-1}=(1-\tilde{\delta})^{k}$ 的概率有

  其中 $m_k=\lceil2\log_2T_k\rceil$，结合 $\alpha$ 的限制，以至少 $(1-\tilde{\delta})^{k}$ 的概率有

  $k+1$ 的时候递归成立，数学归纳法成立，命题得证。

---

定理 7.7 Epoch-GD 大概率情况下的收敛率 若目标函数 $f(\cdot)$ 为 $\lambda$-强凸函数，Epoch-GD 以大概率取得 $O(\frac{\log\log T}{\lambda T})$ 的收敛率

证明 Epoch-GD 外层循环的轮数，是由满足 $\sum_{i=1}^kT_i\leqslant T$ 的最大 $k$ 决定的，由于

  因此，最后一轮迭代的轮数 $k^{\dagger}$ 与引理 7.3 中的定义相吻合，算法最终输出是 $\boldsymbol{w}^{k^{\dagger}+1}_1$。根据引理 7.3，以至少 $(1-\tilde{\delta})^{k^{\dagger}}$ 的概率有

  然后，证明概率 $(1-\tilde{\delta})^{k^{\dagger}}>1-\delta$，由于函数 $(1-\frac{1}{x})^x$ 在 $x>1$ 时是增函数，因此

  由上面两式可知，以至少 $1-\delta$ 的概率有

  定理得证。

---

7.4 实例分析

7.4.1 支持向量机

  首先引入如何使用确定优化方法来求解支持向量机 (Supporting Vector Machine, SVM) : 令 $(\boldsymbol{x}_1,y_1),\ldots,(\boldsymbol{x}_m,y_m)$ 为 $m$ 个训练样本，其中 $\boldsymbol{x}_i\in\mathbb{R}^d,y_i\in\{-1,+1\}$，支持向量机的优化问题为 :

  由于 hinge 损失并不光滑，需要对梯度进行如下的计算替换，称之为次梯度 (sub-gradient) :

  由于目标函数是凸函数，可以将 7.2.1 节中的梯度下降算法来进行求解。具体如下 :

  根据定理 7.1 的分析，可以得到如下收敛率。

---

定理 7.8 优化支持向量机的收敛率 梯度下降求解支持向量机的收敛率为 $O(\frac{1}{\sqrt{T}})$

证明 假设 $\lVert\boldsymbol{x}_i\rVert\leqslant r,i\in[m]$，根据定理 7.1 步长的设置依赖于梯度的上界，梯度上界为

  可行域的直径为 $\Gamma=2\Lambda$，根据定理 7.1，将步长设置为 $\eta=2\Lambda/(mr\sqrt{T})$ 有

  定理得证。

---

7.4.2 对率回归

  给定训练数据集 $D=\{(\boldsymbol{x}_1,y_1),\ldots,(\boldsymbol{x}_m,y_m)\}$，对率回归的优化问题如下 :

  为了计算随机梯度，将在每一轮均匀随机选择 1 个样本作为输入，将 $t$ 轮迭代选取的样本记为 $(\boldsymbol{x}_t,y_t)$，则 $f(\cdot)$ 在当前解 $\boldsymbol{w}_t$ 处的随机梯度可以计算为

  根据定理 7.4 的分析，可以得到如下收敛率

---

定理 7.9 优化对率回归的收敛率 随机梯度下降求解对率回归的收敛率为 $O(\frac{1}{\sqrt{T}})$

证明 假设 $\lVert\boldsymbol{x}_i\rVert\leqslant r,i\in[m]$，首先计算随机梯度的上界

  因为可行域的直径 $\Gamma=2\Lambda$，依据定理 7.4，调整步长为 $\eta=2\Lambda/(r\sqrt{T})$，则以至少 $1-\delta$ 的概率有

  定理得证

---