概率论基础 - 6 - 切比雪夫不等式

418 阅读1分钟

「这是我参与2022首次更文挑战的第9天,活动详情查看:2022首次更文挑战」。

切比雪夫不等式可以使人们在随机变量X的分布未知的情况下,对事件Xμ<ε|X-\mu|<\varepsilon 概率作出估计。

定义

  • 假设随机变量XX具有期望E(X)=μE(X)=\mu, 方差 Var(X)=σ2Var(X)=\sigma^2,则对于任意正数ε\varepsilon ,有不等式成立:

{%raw%}

P{Xμε}σ2ε2\mathbb P\{|X-\mu| \geq \varepsilon\} \leq \frac{\sigma^{2}}{\varepsilon^{2}}

{%endraw%}

含义

  • 其意义是:对于距离E(X)E(X)足够远的地方(距离大于等于ε\varepsilon),事件出现的概率是小于等于{%raw%}σ2ε2\frac{\sigma^{2}}{\varepsilon^{2}} {%endraw%}。即事件出现在区间{%raw%}[με,μ+ε][\mu-\varepsilon, \mu+\varepsilon] {%endraw%}的概率大于{%raw%}1σ2ε21-\frac{\sigma^2}{\varepsilon^2} {%endraw%}

  • 该不等式给出了随机变量XX在分布未知的情况下, 事件Xμε|X-\mu| \leq \varepsilon 的下限估计

    例如:

    P{Xμ <3σ}119=89\mathbb P\{|X-\mu|\ < 3 \sigma \} \ge 1-\frac{1}{9}=\frac{8}{9}
  • 切比雪夫不等式刻画了变量偏离均值的程度与发生概率大小之间的关系

  • 在随机变量分布未知的情况下,我们只知道均值和方差,切比雪夫不等式给出了XX落入以均值为中心的εε邻域概率的概率下界

证明

思路1

利用取值范围建立不等式

{%raw%}

P{Xμε}=xμεp(x)dxxμεxμ2ε2p(x)dx1ε2(xμ)2p(x)dx=σ2ε2\begin{aligned} \mathbb P\{|X-\mu| \geq \varepsilon\} &=\int_{|x-\mu| \geq \varepsilon} p(x) d x \\ &\leq \int_{|x-\mu| \geq \varepsilon} \frac{|x-\mu|^{2}}{\varepsilon^{2}} p(x) d x \\ & \leq \frac{1}{\varepsilon^{2}} \int_{-\infty}^{\infty}(x-\mu)^{2} p(x) d x\\ &=\frac{\sigma^{2}}{\varepsilon^{2}} \end{aligned}

{%endraw%}

思路2

利用马尔可夫不等式

P(Xa)E(X)a\mathbb{P}(X \geq a) \leq \frac{\mathbb{E}(X)}{a}
  • Xμ|X-\mu|作为随机变量带入不等式,有:
P(Xμε)E(Xμ)ε\mathbb P(|X-\mu| \ge \varepsilon) \leq \frac{E(|X-\mu|)}{\varepsilon}
  • 其中ε>0\varepsilon > 0,而:
P(Xμε)=P(Xμ2ε2)\mathbb P(|X-\mu| \ge \varepsilon) = \mathbb P(|X-\mu|^2 \ge \varepsilon^2)
  • 再次套用马尔可夫不等式:

{%raw%}

P(Xμε)=P(Xμ2ε2)E(Xμ2)ε2=σ2ε2\mathbb P(|X-\mu| \ge \varepsilon) =\mathbb P(|X-\mu|^2 \ge \varepsilon^2) \le \frac{E(|X-\mu|^2)}{\varepsilon^2}=\frac{\sigma^2}{\varepsilon^2}

{%endraw%}

推论——切比雪夫定理

  • 对于相互独立具有相同期望和方差的随机变量XiX_i1ni=1nXi\frac{1}{n}\sum\limits_{i = 1}^n {{X_i}} 的方差为:

{%raw%}

Var(X)n=σ2n\frac{{Var(X)}}{n}=\frac{{{\sigma ^2}}}{n}

{%endraw%}

  • 那么当 nn \to \infty 时,1ni=1nXi\frac{1}{n}\sum\limits_{i = 1}^n {{X_i}} 的方差0\to 0 ,对于任意给定的ε>0\varepsilon > 0,根据切比雪夫不等式有:

{%raw%}

limnP{1ni=1nXiE(Xi)<ε}=1\lim _{n \rightarrow \infty} P\left\{\left|\frac{1}{n} \sum_{i=1}^{n} X_{i}-E\left(X_{i}\right)\right|<\varepsilon\right\}=1

{%endraw%}

  • 即当样本个数趋于无穷时,样本的算数平均值会收敛于理论均值

参考资料