本文已参与「新人创作礼」活动，一起开启掘金创作之路。

大数定律与中心极限定理

一、切比雪夫不等式

设随机变量$X$具有期望$E(X)=\mu$，方差$D(X)=\sigma^{2}$，则对于任意正数$\xi$，不等式$P\{|X-EX|\geq \xi\}\leq \frac{DX}{\xi^{2}}$或$P\{|X-EX|< \xi\}\geq1- \frac{DX}{\xi^{2}}$成立

 

二、大数定律

1. 依概率收敛定义

设随机变量$X_{1},X_{2},\cdots,X_{n},\cdots$，对于$\forall \xi>0$，都有$\lim_{n\to \infty}P\{|X_{n}-a|<\xi\}=1$，则称$X_{n}$依概率收敛于$a$，记作$X_{n}\overset{p}{\rightarrow=}a$

 

2. 辛钦大数定律

设随机变量$X_{1},X_{2},\cdots,X_{n},\cdots$相互独立，且服从于统一分布，数学期望为$E(X_{i})=\mu,i=1,2,\cdots$，则$\frac{1}{n}\sum\limits^{n}_{i=1}X_{i}\overset{p}{=}\mu$。即$\frac{1}{n}\sum\limits^{n}_{i=1}f(X_{i})\overset{p}{\rightarrow}E(f(X_{i}))$

 

3. 伯努利大数定律

设随机变量$X_{1},X_{2},\cdots,X_{n},\cdots$相互独立，且均服从于$B(1,p)$，则$\frac{1}{n}\sum\limits^{n}_{i=1}X_{i}\overset{p}{\rightarrow}p$

 

三、中心极限定理

1. 林德贝格-列维中心极限定理

设随机变量$X_{1},X_{2},\cdots,X_{n},\cdots$相互独立，且均服从于同一分布，$E(X_{i})=\mu,D(X_{i})=\sigma^{2}$，则$\sum\limits^{n}_{i=1}X_{i}\overset{\cdot}{\sim}N(n \mu,n \sigma^{2})$（$\overset{\cdot}{\sim}$意为近似服从），且对于$\forall x$，有$\lim_{n \to \infty}P\Big\{\frac{\sum\limits^{n}_{i=1}X_{i}-n \mu}{\sqrt{n}\sigma}\leq x\Big\}=\Phi (x)$

 

2. 棣莫弗-拉普拉斯中心极限定理

设随机变量$X_{1},X_{2},\cdots,X_{n},\cdots$相互独立，均服从于$B(1,p)$，则$\sum\limits^{n}_{i=1}X_{i}\overset{\cdot}{\sim}N[np,np(1-p)]$

参数估计

 

 

总体$X$的概率密度（概率分布）含有未知数$\theta$

 

一、矩估计量

令$EX=\bar{X}$，解得$\theta$的矩估计量

 

二、最大似然估计量

1. 定义

使得似然函数取得最大值的$\theta$值

 

2. 做法

1. 对样本值$x_{1},x_{2},\cdots,x_{n}$，则似然函数为$\begin{aligned}L(\theta)=\left\{\begin{aligned}&\prod^{n}_{i=1}P(x_{i};\theta)\\&\prod^{n}_{i=1}f(x_{i};\theta)\end{aligned}\right.\end{aligned}$

2. 似然函数两端取对数，求导数

3. 令$\begin{aligned}\frac{d\ln(L(\theta))}{d \theta}=0\end{aligned}$，得$\theta$的最大似然估计量

 

例1：设$X\sim B(1,p)$，$X_{1},X_{2},\cdots,X_{n}$是来自总体$X$的样本，试求参数$p$的最大似然估计量

设$x_{1},x_{2},\cdots,x_{n}$为$X_{1},X_{2},\cdots,X_{n}$中的样本值

则$X$的分布律为$P\{X=x\}=p^{x}(1-p)^{1-x},x=0,1$

则似然函数$L(p)=\prod^{n}_{i=1}p(x_{i};p)=\prod^{n}_{i=1}p^{x_{i}}\cdot (1-p)^{1-x_{i}}=p^{\sum\limits^{n}_{i=1}x_{i}}\cdot (1-p)^{\sum\limits^{n}_{i=1}(1-x_{i})}$

取对数$\ln(L(p))=\sum\limits^{n}_{i=1}x_{i}\ln p+(n-\sum\limits^{n}_{i=1})\ln(1-p)$

$\frac{d\ln(L(p))}{dp}=\frac{\sum\limits^{n}_{i=1}x_{i}}{p}-\frac{n-\sum\limits^{n}_{i=1}x_{i}}{1-p}=0$

解得$\hat{p}=\frac{1}{n}\sum\limits^{n}_{i=1}x_{i}=\bar{x}$

则$p$的最大似然估计量为$\hat{p}=\bar{x}$

 

例2：设$X\sim N(\mu,\sigma^{2})$，$\mu,\sigma^{2}$为未知参数，$x_{1},x_{2},\cdots,x_{n}$是来自$X$的一个样本值，求$\mu,\sigma^{2}$的最大似然估计量

$f(x;\mu,\sigma^{2})=\frac{1}{\sqrt{2\pi}\sigma}e^{\frac{-(x-\mu)^{2}}{2\sigma^{2}}}$

则$L(\mu,\sigma^{2})=\prod^{n}_{i=1}f(x_{i};\mu,\sigma^{2})=2\pi^{-\frac{n}{2}}\cdots (\sigma^{2})^{-\frac{n}{2}}\cdot e^{-\frac{\sum\limits^{n}_{i=1}(x_{i}-\mu)^{2}}{2\sigma^{2}}}$

$\ln L(\mu,\sigma^{2})=-\frac{n}{2}\ln (2\pi)-\frac{n}{2}\ln(\sigma^{2})--\frac{\sum\limits^{n}_{i=1}(x_{i}-\mu)^{2}}{2\sigma^{2}}$

令$\frac{\partial\ln L}{\partial\mu}=0,\frac{\partial\ln L}{\partial\sigma^{2}}=0$

解得$\hat{\mu}=\frac{1}{n}\sum\limits^{n}_{i=1}=\bar{x},\hat{\sigma^{2}}=\frac{1}{n}\sum\limits^{n}_{i=1}(x_{i}-\bar{x})^{2}$

故解得$\mu,\sigma^{2}$的最大似然估计量分别为$\hat{\mu}=\frac{1}{n}\sum\limits^{n}_{i=1}=\bar{x},\hat{\sigma^{2}}=\frac{1}{n}\sum\limits^{n}_{i=1}(x_{i}-\bar{x})^{2}$

​