Bernstein's Inequality(伯恩斯坦不等式简化版)

为自己打工

2023-07-27 480 阅读1分钟

设r.v. $X$ 满足 $E(X)=\mu, Var(X)=\sigma^2, |X-\mu|<b$ 则有如下尾概率不等式成立， $\forall t>0$

P(X-\mu>t) \le exp(-\frac{t^2}{bt+\sigma^2}) \\ or \\ P(\mu-X>t) \le exp(-\frac{t^2}{bt+\sigma^2}) \\

proof:

P(X-\mu>t)=P(exp\{\lambda (X-\mu)\} > exp(\lambda t)) \le exp(-\lambda t)E\{exp(\lambda(X-\mu))\}

\begin{align*} E[exp(\lambda (X-\mu))] &= 1 + \frac{\lambda^2\sigma^2}{2}+E[\sum_{k=3}^{\infty}\frac{\lambda^k(X-\mu)^k}{k!}] \\ &\le 1+\frac{\lambda^2\sigma^2}{2}+\frac{\lambda^2\sigma^2}{2}E[\sum_{k=3}^{\infty}(|\lambda|b)^{k-2}] \\ &\le 1+\frac{\lambda^2\sigma^2}{2(1-|\lambda|b)} \\ &\le exp[\frac{\lambda^2\sigma^2}{2(1-|\lambda|b)}] \end{align*}

因此 $P(X-\mu>t)\le exp\{-\lambda t + \frac{\lambda^2\sigma^2}{2(1-|\lambda|b)}\}$ 其中 $|\lambda|<\frac{1}{b}$

特别的令 $\lambda=\frac{t}{bt+\sigma^2}$ 即得证第一式，再令 $X=-X$ 则得二式。

特别的，对于i.i.d $X_1,\dots,X_n$ 满足 $E(X_1)=\mu, Var(X_1)=\sigma^2,|X-\mu|<b$ 有

P(\frac{1}{n}\sum_{i=1}^nX_i-\mu>t) \le exp(-\frac{nt^2}{2(bt+\sigma^2)})

proof:

\begin{align*} P(\sum_{i=1}^n(X_i-\mu)>nt) &\le exp(-n\lambda t)E\{exp(\sum_{i=1}^n\lambda(X_i-\mu))\} \\ &\le exp(-n\lambda t)\prod_{i=1}^{n}E\{exp[\lambda(X_i-\mu)]\} \\ &\le exp(-n\lambda t)exp(-\frac{\lambda^2\sigma^2}{2(1-|\lambda|b)}) \end{align*}

然后再令 $\lambda=\frac{t}{bt+\sigma^2}$ 即得不等式成立。