【概率论基础进阶】大数定律和中心极限定理

本文已参与「新人创作礼」活动，一起开启掘金创作之路。

切比雪夫不等式

切比雪夫不等式：设随机变量$X$的数学期望$E(X)$和方差$D(X)$存在，则对任意的$\epsilon >0$，总有

这个不等式称为切比雪夫不等式

 

例1：设随机变量$X$的概率密度$f(x)=\left\{\begin{aligned}&2e^{-2x}&x>0\\&0&x \leq 0\end{aligned}\right.$

• 根据切比雪夫不等式估计$\begin{aligned} P \left\{X \geq \frac{3}{2}\right\}\leq A,A=()\end{aligned}$

 

$X \sim E(2)$，因此

 

• 直接计算$\begin{aligned} P \left\{X \geq \frac{3}{2}\right\}=B,B=()\end{aligned}$

 

根据指数分布

因此

 

$\begin{aligned} e^{-3}\approx 0.05\end{aligned}$，而切比雪夫不等式估计的是$\begin{aligned} 0.25\end{aligned}$，显然是由一定差距的

 

例2：设$X$的密度为$f(x),DX=1$，而$Y$的密度为$f(-y)$，且$X$与$Y$的相关系数为$\begin{aligned} - \frac{1}{4}\end{aligned}$，用切比雪夫不等式估计$P \left\{|X+Y| \geq 2\right\}\leq ()$

 

设$Z=X+Y$，由切比雪夫不等式

因此$EZ=E(X+Y)=EX+EY=0$

因此

大数定律

定义：设$X_{1},X_{2},\cdots ,X_{n},\cdots$是一个随机变量序列，$A$是一个常数，如果对任意$\epsilon >0$，有

则称随机变量序列$X_{1},X_{2},\cdots ,X_{n},\cdots$依概率收敛域常数$A$，记作$X_{n}\overset{P}{\rightarrow }A$

 

随机变量加减一个常数还是随机变量

 

切比雪夫大数定律：设$X_{1},X_{2},\cdots ,X_{n},\cdots$为两两不相关的随机变量序列，存在常数$C$，使$D(X_{1})\leq C(i=1,2,\cdots )$，则对任意$\epsilon >0$，有

 

不太严谨的做题时可以写成$\begin{aligned} \frac{1}{n}\sum\limits_{i=1}^{n}x_{i}\overset{P}{\rightarrow } \frac{1}{n}\sum\limits_{i=1}^{n}E(X_{i})\end{aligned}$

 

伯努利大数定理：设随机变量$X_{n}\sim B(n,p),n=1,2,\cdots$，则对于任意$\epsilon >0$，有

 

即$X_{n}=Y_{1}+Y_{2}+\cdots +Y_{n},Y_{i}\sim B(1,p)$，则有$\begin{aligned} \frac{1}{n}\sum\limits_{i=1}^{n}Y_{i}=\frac{X_{n}}{n}\overset{P}{\rightarrow }p\end{aligned}$

 

辛钦大数定律：设随机变量$X_{1},X_{2},\cdots ,X_{n},\cdots$独立同分布，具有数学期望$E(X_{i})=\mu,i=1,2,\cdots$，则对于任意$\epsilon >0$有

 

有$\begin{aligned} \frac{1}{n}\sum\limits_{i=1}^{n}x_{i}\overset{P}{\rightarrow } \mu\end{aligned}$

 

切比雪夫大数定律要求随机变量两两不相关，且方差存在

辛钦大数定律要求随机变量独立同分布，且期望存在

做题时看题目给出条件符合哪个，用哪个

 

例3：设随机变量$X_{1},X_{2},\cdots ,X_{n},\cdots$相互独立，均服从分布函数

是否存在实数$a$，使得对任何$\epsilon >0$都有$\begin{aligned} \lim\limits_{n\to\infty}P \left\{\left| \frac{1}{n}\sum\limits_{i=1}^{n}X_{i}^{2}-a\right|\geq \epsilon \right\}=0\end{aligned}$

 

由题目可知

有

因此期望$EX_{1}^{2}=\theta$存在，又因为$X_{1},X_{2},\cdots ,X_{n},\cdots$相互独立，均服从同一分布函数，因此$X_{1}^{2},X_{2}^{2},\cdots ,X_{n}^{2},\cdots$独立同分布。根据辛钦大数定律，当$n \to \infty$时，

即对任何$\epsilon >0$，都有$\begin{aligned} \lim\limits_{n\to\infty}P \left\{\left| \frac{1}{n}\sum\limits_{i=1}^{n}X_{i}^{2}-a\right|\geq \epsilon \right\}=0\end{aligned}$

 

中心极限定理

列维-林德伯格中心极限定理：设随机变量$X_{1},X_{2},\cdots ,X_{n},\cdots$独立同分布，具有数学期望与方差，$E(X_{n})=\mu,D(X_{n})=\sigma^{2},n=12,\cdots$，则对于任意实数$x$，有

 

定理表明当$n$充分大时$\sum\limits_{i=1}^{n}X_{i}$的标准化$\begin{aligned} \frac{\sum\limits_{i=1}^{n}X_{i}-n \mu}{\sqrt{n}\sigma}\end{aligned}$近似服从标准正态分布$N(0,1)$，或者说$\sum\limits_{i=1}^{n}X_{i}$近似的服从$N(n \mu,n \sigma^{2})$

 

棣莫弗-拉普拉斯中心极限定理：设随机变量$X_{n}\sim B(n,p)(n=1,2,\cdots )$，则对于任意实数$x$，有

其中$\Phi (x)$是标准正态的分布函数

 

定理表明当$n$充分大时，服从$B(n,p)$的随机变量$X_{n}$经标准化后得$\begin{aligned} \frac{X_{n}-np}{\sqrt{np(1-p)}}\end{aligned}$近似服从标准正态分布$N(0,1)$，或者说$X_{n}$近似的服从$N(np,np(1-p))$

 

例4：设$X_{1},X_{2},\cdots ,X_{n},\cdots$为独立同分布的随机变量列，且均服从参数为$1$的指数分布，则$\lim\limits_{n\to\infty}P \left\{\sum\limits_{i=1}^{n}X_{i}\leq n\right\}=()$

 

$X_{1},X_{2},\cdots ,X_{n},\cdots$独立同分布，且$E(X_{i})=1,D(X_{i})=1$，根据列维-林德伯格中心极限定理，$\sum\limits_{i=1}^{n}X_{i}$近似的服从$\begin{aligned} N(n \cdot \frac{1}{\lambda},n \cdot \frac{1}{\lambda^{2}})\end{aligned}$ 即$N(n,n)$，所以$\begin{aligned} \lim\limits_{n\to\infty}P \left\{\frac{X_{n}-np}{\sqrt{np(1-p)}}\leq x\right\}=\Phi (x)\end{aligned}$，因此