第27章

 在本章中，我们将描述度量集合复杂性的另一种方法，称为覆盖数。

 27.1覆盖层

 (覆盖)设A$\subset$ $\mathbb{R}$^m是向量的集合。我们说它是由集合A$^{\prime}$覆盖的，关于欧几里得度规，如果对于所有的a$\in$A存在一个a$^{\prime}$ $\in$A$^{\prime}$和$\lVert$a$-$a$^{\prime}$ $\rVert$ $\leq$r。我们用N(r,A)定义最小的A$^{\prime}$的基数覆盖A。

 例27.1(子空间)假设A$\subset$ $\mathbb{R}$^m，允许c$=$ $\max_a\in$A$\lVert$a$\lVert$，并且假设A在$\mathbb{R}$^m的d维子空间中。当然，N(r, A)$\leq$(2c$\sqrt{d}$/r)$^{d}$。为了看到这个，让$V_1$ $\cdots$,$V_d$是子空间的标准正交基。么，任意a$\in$A可以写成a$=$ $\sum$ $^{d}_{i=1}$ $\alpha$ $_{i}$ v$_{i}$和$\lVert$ $\pmb\alpha$ $\lVert$ $_{∞}$ $\leq$ $\lVert$ $\pmb\alpha$ $\lVert$ $_2$ $=$ $\lVert$ a $\lVert$ $_2$ $\leq$c。设$\epsilon$ $\in$ $\mathbb{R}$并考虑这个集合  $\qquad$ $\qquad$ A$^{\prime}$ $=$ $\lbrace$ $\sum\limits_{i=1}^d$ $\alpha$ $_{i}$ v$_{i}$：$\forall$ $_{i}$，$\alpha$ $_{i}$ $\in$ $\lbrace$ $-$c，$-$c $+$c，$-$c$+2，\cdots$，c$\rbrace$ $\rbrace$

给定a$\in$A s.t. a$=$ $\sum_{i=1}^d$ $\alpha$ $_{i}$ v$_{i}$且$\lVert$ $\pmb\alpha$ $\lVert$ $_{∞}$ $\leq$ c，存在a$^{\prime}$ $\in$A$^{\prime}$

使$\lVert$a$-$a$^{\prime}$ $\rVert$ $^{2}$ $\leq$ $=$ $\lVert$ $\sum\limits_{i}$（$\alpha$ $^{\prime}$ $_{i}$ $-$ $\alpha$ $_{i}$)v$_{i}$ $\lVert$ $^{2}$ $\leq$ $\epsilon$ $^{2}$ $\sum\limits_{i}$ $\lVert$ v$_{i}$ $\lVert$ $^{2}$ $\leq$ $\epsilon$ $^{2}$d

选择$\epsilon$ $=$r/$\sqrt{d}$;然后$\lVert$a$-$a$^{\prime}$ $\lVert$，因此A$^{\prime}$是A的r形封面。

$\qquad$ $\qquad$ $\qquad$ N(r, A)$\leq$|A$^{\prime}$|$=$ （$\frac{2c}{\epsilon}$）$^{d}$ $=$（$\frac{2c\sqrt{d}}{r}$）$^{d}$

27.1.1 $\qquad$ 特性

 以下引理是从定义中立即的。  引理27.2任何A⊂$\mathbb{R}$^m，标量子c$\gt$0，和矢量a$_{0}$ $\in$bmatrix $\mathbb{R}$^m，我们有

$\qquad$ $\qquad$ $\qquad$ $\forall$ $\!$ $_{r}$ $\gt$0，N(r,$\lbrace$ca+a$_{0}$:a$\in$A$\rbrace$)$\leq$N(cr, A)

了解机器学习， C 2014由Shai Shalev-Shwartz和Shai Ben-David 2014年发布于2014年剑桥大学出版社。 个人使用。不用于分发。不要发帖。 请链接到www.cs.huji.ac.il/~shais/unde… machinelearning

27.2通过链接覆盖去灭火器复杂性

---

接下来，我们派生了收缩原则.

 引理27.3对每个i$\in$ $\begin{bmatrix}m\end{bmatrix}$，让$\phi$ $_{i}$:$\mathbb{R}$ $\rightarrow$ $\mathbb{R}$上一个ρ-李普希茨功能; 即，对所有$\alpha$，$\beta$ $\in$ $\mathbb{R}$我们|$\phi$ $_{i}$($\alpha$) $-$ $\phi$ $_{i}$($\beta$)|$\leq$ρ|$\alpha$ $-$ $\beta$|.对于a$\in$ $\mathbb{R}$米让利 $\pmb\phi$(a)中表示的向量($\phi$ $_{1}$(a$_{1}$),$\cdots$,$\phi$ $_{m}$(a$_{m}$))中.让$\pmb\phi$◦A $=$ {$\pmb\phi$(\textbf a):用a$\in$A}。然后，

$\qquad$ $\qquad$ $\qquad$ N(ρr,$\pmb\phi$◦A)$\leq$N(r, A)

证明定义B$=$ $\pmb\phi$◦A。让A$^{\prime}$是A的覆盖，并定义B$^{\prime}$ $=$ $\pmb\phi$ ◦A$^{\prime}$ 。 然后，对于所有a$\in$A存在a$^{\prime}$∈A$^{\prime}$与$\lVert$a$-$a$^{\prime}$ $\rVert$ $\leq$r。所以

$\qquad$ $\qquad$ $\lVert$ $\pmb\phi$(a)$-$ $\pmb\phi$(a$^{\prime}$)$\lVert$ $=$ $\sum\limits_{i}$($\phi$ $_{i}$(a$_{i}$) $-$ $\phi$ $_{i}$(a$_{i}$ $^{\prime}$))$^2$ $\leq$ρ$^2$ $\sum\limits_{i}$(a$_{i}$)$-$a$_{i}$ $^{\prime}$)$^2$ $\leq$(ρr)$^2$

因此，B'是一个（ρr）的封面B。

27.2通过链接覆盖去灭火器复杂性

以下引理基于的Remma界定了A的RadeMacher复杂性 覆盖数字N（r，A）。这种技术称为链接并归因于去达德利。

Lemma 27.4让c$=$ $\min_{\overline{a}}$ $\max_{a∈A}$ $\lVert$a$-$ $\overline{\textbf a}$ $\rVert$，然后，对于任意整数M$>$0.

$\qquad$ $\qquad$ R(A)$\leq$ $\frac{c2^{−M}}{\sqrt {m}}$ $+$ $\frac{6c}{m}$ $\sum\limits_{k=1}^M2^{-k}$ $\sqrt {\log(N(c2^{-k},A)}$.

证明让$\overline{\textbf a}$答案是定义中给出的目标函数的最小化器 c。在雷姆玛26.6的基础上，我们可以分析Rademacher复杂性 假设$\overline{\textbf a}$ $=$ 0

考虑集$B_0$ $=$ {0}并注意它是A的C封面。让$B_1$,$\cdots$，$B_M$. 被设置成使得每个$B_K$对应于最小 $c2^{-k}$复制A.让一种$\textbf a^*$ $=$ $argmax_{a∈A}$ $\langle$ $\pmb\sigma$,a$\rangle$（如果有多个最大化器，则选择一个 以任意方式，如果最大化器不存在，请选择一个$\textbf a^*$这样$\langle$ $\pmb\sigma$,a$\rangle$，$\textbf a^*$ 我足够接近至高无上。注意$\textbf a^*$ 是$\pmb\sigma$的函数。为了每K，让$\textbf b^k$是最近的邻居 $\textbf a^*$ 在$\textbf b^k$（因此$\textbf b^k$也是一个函数$\pmb\sigma$。使用三角形不等式,

$\qquad$ $\lVert$ $\textbf b^{(k)}$ $-$ $\textbf b^{(k-1)}$ $\lVert$ $\leq$ $\lVert$ $\textbf b^{(k)}$ $-$ $\textbf a^*$ $\lVert$ $+$ $\lVert$ $\textbf a^*$ $\textbf b^{(k-1)}$ $\lVert$ $\leq$c($2^{-k}$ $+$ $2^{-(k-1)}$)$=$3c$2^{-k}$

对于每个k定义集合

$\qquad$ $\qquad$ $\hat{B}_K$ $=${(a$-$a$^{\prime}$):a$\in$ $B_k$,a$^{\prime}$ $\in$ $B_{k-1}$,$\lVert$ a$-$a$^{\prime}$ $\lVert$ $\leq$3c$2^{-k}$

覆盖数字

---

我们现在可以写

$\qquad$ $\qquad$R(A)$=$ $\frac{1}{m}$ $\mathbb{E}$ $\langle$ $\pmb\sigma$,$\textbf a^*$ $\rangle$

$\qquad$ $\qquad$ $\quad$ $=$ $\frac{1}{m}$ $\mathbb{E}$ $\begin{bmatrix} \langle \pmb\sigma,\textbf a^*-\textbf b^{(M)}\rangle+\sum\limits_{K=1}^M\langle \pmb\sigma,\textbf b^{(k)}-\textbf b^{(k-1)}\rangle\end{bmatrix}$

$\qquad$ $\qquad$ $\quad$ $\leq$ $\frac{1}{m}$ $\mathbb{E}$ $\begin{bmatrix}\lVert\sigma\lVert\lVert \textbf a^*-\textbf b^{(M)}\lVert\end{bmatrix}$ $+$ $\sum\limits_{K=1}^M$ $\frac{1}{m}$ $\mathbb{E}$ $\begin{bmatrix}sup_{a\in\hat{B}_K}\langle \pmb\sigma,\textbf a\rangle\end{bmatrix}$

因为$\lVert\pmb\sigma\lVert$ $=$ $\sqrt {m}$与$\lVert \textbf a^*-\textbf b^{(M)}\lVert$ $\leq$c$2^{-M}$,第一次召开最多${c\over \sqrt m}$ $2^{-M}$.此外，由大规模的引理,

$\quad$ $\frac{1}{m}$ $\mathbb{E}$ $sup_{\textbf a\in\hat{B}_K}\langle \pmb\sigma,\textbf a\rangle$ $\leq$3c$2^{-k}$ $\sqrt{2.\log(N(c2^{-k},A)^2}\over {m}$ $=$6c$2^{-k}$ $\sqrt{\log(N(c2^{-k},A)}\over {m}$

$\quad$作为必论是我们获得以下内容：

$\qquad$ $\qquad$R(A)$\le$ $\frac{C2^{-M}}{\sqrt{m}}$ $+$ $\sum\limits_{K=1}^M2^{-k}$ $\sqrt{\log(N(c2^{-k},A)}$

引理27.5假设有$\alpha$，$\beta$ $\gt$ 0，使得任何K$\ge$ 1

然后， $\qquad$ $\qquad$ $\qquad$ R(A)$\le$ $\frac{6c}{m}$($\alpha$ $+$2$\beta$)

通过拍摄M$\rightarrow$ ${∞}$并注意到，依赖于引理27.4的界限。$\sum_{k=1}^{∞}$ $2^{-k}$ $=$1和$\sum_{k=1}^{∞}$ $k2^{-k}$ $=$1

示例27.2考虑一个设置在r的D维子空间中的集合A。$\mathbb{R}$^m并且这样C$=$ $\max_{a∈A}$ $\lVert$a$\lVert$。我们已经表明N（r，A）$\le$（$\frac{2c\sqrt{d}}{r}$）$^{d}$。因此，对于任何K。

$\qquad$ $\qquad$ $\sqrt{\log(N(c2^{-k},A)}$ $\le$ $\sqrt{d\log(2^{k+1}\sqrt{d}}）$

$\qquad$ $\qquad$ $\qquad$ $\qquad$ $\qquad$ $\quad$ $\le$ $\sqrt{d\log(2^{k+1}\sqrt{d}}）$ $+$ $\sqrt{kd}$

$\qquad$ $\qquad$ $\qquad$ $\qquad$ $\qquad$ $\quad$ $\le$ $\sqrt{d\log(2^{k+1}\sqrt{d}}）$ $+$ $\sqrt{dk}$

因此，雷姆玛27.5产量

$\qquad$ $\qquad$R(A)$\le$ $\frac{6c}{m}$（$\sqrt{d\log 2\sqrt{d}}）$ $+$ $2\sqrt{d}$)$=$ O(${c}\sqrt{d\log(d)}\over {m}$)

$\qquad$ $\qquad$ $\qquad$ $\qquad$ $\qquad$ $\qquad$ $\qquad$ $\qquad$27.3书目言论

---

27.3书目言论

链接技术是由于达德利（1987）。对于对覆盖号码的广泛研究以及可用于绑定的其他复杂性措施 统一收敛速率我们将读者推荐给（Anthony＆Bartlet 1999）。