本文已参与「新人创作礼」活动，一起开启掘金创作之路。

数学期望

一、定义

1. 一维离散型随机变量

设离散型随机变量$X$的分布律为$P\{X=x_{i}\}=p_{i}.i=1,2,\cdots$，则随机变量$X$的数学期望为$\sum\limits^{\infty}_{i=1}x_{i}p_{i}$，记为$EX$，即$EX=\sum\limits^{\infty}_{i=1}x_{i}p_{i}$

 

推广：若离散型随机变量$X$的分布律为$P\{X=x_{i}\}=p_{i},i=1,2,\cdots$，$Y$是随机变量$X$的函数：$Y=g(X)$，其中$g$为连续函数，则$EY=E[g(X)]=\sum\limits^{\infty}_{i=1}g(x_{i})p_{i}$

 

2. 一维连续型随机变量

设连续型随机变量$X$的概率密度$f(x)$，则随机变量的数学期望$\int^{+\infty}_{-\infty }xf(x)dx$，记为$EX$，即$EX=\int^{+\infty}_{-\infty}xf(x)dx$

 

推广：若连续型随机变量$X$的概率密度为$f(x)$，$Y$是随机变量$X$的函数：$Y=g(X)$，其中$g$为连续函数，则$EY=\int^{+\infty}_{-\infty}g(x)f(x)dx$

 

例1：设$X\sim P(\lambda)$，求$EX$

$P\{x=k\}=\frac{\lambda^{k}}{k!}e^{-\lambda},k=0,1,2,\cdots,\lambda>0$

则

$\begin{aligned}EX&=\sum\limits^{\infty}_{k=0}k\cdot \frac{\lambda^{k}}{k!}e^{-\lambda}\\&=\lambda e^{-\lambda}\sum\limits^{\infty}_{k=1}\frac{\lambda^{k-1}}{(k-1)!}\quad k=0\text{时，}(k-1)!\text{无意义}\\&=\lambda e^{-\lambda}\sum\limits ^{\infty}_{n=0}\frac{\lambda^{n}}{n!}\\&\text{此处使用无穷数级}e^{x}=\sum\limits^{\infty}_{n=0}\frac{x^{n}}{n}\\&=\lambda e^{-\lambda}e^{\lambda}\\&=\lambda\end{aligned}$

则$EX=\lambda$

 

例2：设$X\sim U(a,b)$，求$EX$

$f(x)=\begin{cases}\frac{1}{b-a},a<x<b\\0,\text{其他}\end{cases}$

则

$\begin{aligned}EX&=\int^{+\infty}_{-\infty}xf(x)dx\\&=\int^{b}_{a}\frac{x}{b-a}dx\\&=\frac{1}{2}\frac{1}{b-a}x^{2}\Big|^{b}_{a}\\&=\frac{a+b}{2}\end{aligned}$

 

3. 二维离散型随机变量

设$(X,Y)$为二维离散型随机变量，其分布律为$P\{X=x_{i},Y=y_{i}\}=p_{ij},\quad i,j =1,2,\cdots$，令$Z=g(x,y)$，则$Z$的期望为$E(Z)=E[g(X,Y)]=\sum\limits^{\infty}_{j=1}\sum\limits^\infty_{i=1}g(x_{i},y_{j})p_{ij}$

 

4. 二维连续型随机变量

设$X,Y$为二维连续型随机变量，其联合概率密度为$f(x,y)$，令$Z=g(X,Y)$，则$Z$的期望$E(Z)=E[g(X,Y)]=\int^{+\infty}_{-\infty}\int^{+\infty}_{-\infty}g(x,y)f(x,y)dxdy$

 

例3：设随机变量$(X,Y)$的概率密度为$f(x,y)=\begin{cases}\frac{3}{2x^{3}y^{2}},\frac{1}{x}<y<x,x>1\\0,\text{其他}\end{cases}$，求数学期望$E(Y),E(\frac{1}{XY})$

这里$E(Y)$也可以看做是$E(Z)=E[g(X,Y)]$来计算，即$E(Y)=E(0\cdot X+Y)$

$\begin{aligned}E(Y)&=\int^{+\infty}_{-\infty}\int^{+\infty}_{-\infty}y\cdot f(x,y)dxdy\\&=\int^{+\infty}_{1}dx\int^{x}_{\frac{1}{x}}y\cdot \frac{3}{2x^{3}y^{2}}dy\\&=3\int^{+\infty}_{1}\frac{\ln x}{x^{3}}dx\\&=\frac{3}{4}\end{aligned}$

$\begin{aligned}E(\frac{1}{XY})=\int^{+\infty}_{-\infty}\int^{+\infty}_{-\infty}\frac{1}{xy}f(x,y)dxdy=\int^{+\infty}_{1}dx\int^{x}_{\frac{1}{x}}\frac{3}{2x^{4}y^{3}}dy=\frac{3}{5}\end{aligned}$

 

二、性质

• 设$C$是常数，则$E(C)=C$

• 设$X$是一个随机变量，$C$是常量，则$E(CX)=CE(X)$

• 设$X,Y$是两个随机变量，则$E(X+Y)=E(X)+E(Y)$

• 设$X,Y$是相互独立的随机变量，则$E(XY)=E(X)\cdot E(Y)$

 

方差

一、定义

设$X$是一个随机变量，若$E\{[X-E(X)]^{2}\}$存在，则称$E\{[X-E(X)]^{2}\}$为$X$的方差，记作$D(X)$或$Var(X)$，即$D(X)=E\{[X-E(X)]^{2}\}$

 

二、公式

• $D(X)=E\{[X-E(X)]^{2}\}$

• $D(X)=E(X^{2})-[E(X)]^{2}$

      推导

      $\begin{aligned}E\{[X-E(X)]^{2}\}&=E[X^{2}-2X\cdot EX+(EX)^{2}]\\&=EX^{2}-E(2X\cdot EX)+E[E(EX)^{2}]\\&EX\text{是常数}\\&=EX^{2}-2EX\cdot EX+(EX)^2\\&=EX^{2}-(EX)^{2}\end{aligned}$

 

例1：设随机变量$X$服从于$(0-1)$分布，其分布律为$P\{X=0\}=1-p,P\{X=1\}=p$，求$D(X)$

 

$X$	$0$	$1$
$P$	$1-p$	$p$

 

$EX=0\cdot(1-p)+1\cdot p=p$

$E(X^{2})=0^{2}(1-p)+1^{2}\cdot p=p$

$\therefore DX=E(X^{2})-(EX)^{2}=p-p^{2}=p(1-p)$

 

例2：设随机变量$X\sim P(\lambda)$，求$D(X)$

$EX=\lambda$

$\begin{aligned}E(X^{2})&=E[X(X-1)-X]\\&=E[X(X-1)]+EX\\&=\sum\limits^{\infty}_{k=0}k\cdot(k-1)\frac{\lambda^{k}}{k!}e^{-\lambda}+\lambda\\&=\lambda^{2}e^{-\lambda}\sum\limits^{\infty}_{k=2}\frac{\lambda^{k-2}}{(k-2)!}+\lambda\\&\overset{k-2=n}{=}\lambda^{2}e^{-\lambda}\sum\limits^{\infty}_{n=0}\frac{\lambda^{n}}{n!}+\lambda\\&\text{此处利用}\sum\limits^{\infty}_{n=0}\frac{\lambda^{n}}{n!}=e^\lambda\\&=\lambda^{2}+\lambda\end{aligned}$

故$DX=E(X^{2})-(EX)^{2}=\lambda$

 

例3：设随机变量$X\sim U(a,b)$，求$D(X)$

$f(x)=\begin{cases}\frac{1}{b-a},a<x<b\\0,\quad\text{其他}\end{cases}$

$E(X)=\frac{a+b}{2}$

$E(X^{2})=\int^{+\infty}_{-\infty}x^{2}f(x)dx=\int^{b}_{a}\frac{x^{2}}{b-a}dx=\frac{a^{2}+ab+b^{2}}{3}$

$DX=E(X^{2})-(EX)^{2}=\frac{(b-a)^{2}}{12}$

 

例4：设随机变量$X\sim E(\theta)$，其中$\theta>0$，求$E(X)$和$D(X)$

$f(x)=\begin{cases}\frac{1}{\theta}e^{-\frac{x}{\theta}},x>0\\0,x\leq0\end{cases}$，其中$\theta>0$

$EX=\int^{+\infty}_{-\infty}xf(x)dx=\int^{+\infty}_{0}x\cdot \frac{e^{-\frac{x}{\theta}}}{\theta}dx=\theta$

$E(X^{2})=\int^{+\infty}_{0}x^{2}\cdot \frac{e^{-\frac{x}{\theta}}}{\theta}dx=-x^{2}e^{-\frac{x}{\theta}}\Big|^{+\infty}_{0}+2\theta\underbrace{\int^{+\infty}_{0}x\cdot \frac{e^{-\frac{x}{\theta}}}{\theta}dx}_{\text{用上面的}EX\text{的结果}}=2\theta^{2}$

则$DX=E(X^{2})-(EX)^{2}=\theta^{2}$

 

三、性质

• 设$C$为常数，则$D(C)=0$

• 设$X$为随机变量，$C$为常数，则$D(CX)=C^{2}D(X),D(X+C)=D(X)$

• 设$X,Y$为两个随机变量，则$D(X\pm Y)=D(X)+D(Y)\pm2Cov(X,Y)$

      当$X$与$Y$互相独立时，$D(X\pm Y)=D(X)+D(Y)$

• $D(X)=0\Leftrightarrow$随机变量$X$以概率为$1$取常数$E(X)$，即$P\{X=E(X)\}=1$

 

协方差的相关系数

一、协方差

1. 定义

设随机变量$X$与$Y$，则称$E\{[X-E(X)][Y-E(Y)]\}$为随机变量$X$与$Y$的协方差，记作$Cov(X,Y)$

 

2. 公式

$Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}=E(XY)-E(X)E(Y)$

 

当$X$与$Y$独立时，$E(XY)=EX\cdot EY\Leftrightarrow Cov(X,Y)=0\rightarrow D(X\pm Y)=DX+DY$

 

3. 性质

• $Cov(aX,bY)==abCov(X,Y)$，其中$a,b$为常数

• $Cov(X_{1}+X_{2},Y)=Cov(X_{1},Y)+Cov(X_{2},Y)$

 

二、相关系数

1. 定义

已知随机变量$X$与$Y$，称$\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$为随机变量$X$与$Y$的相关系数，记作$\rho_{XY}$

 

2. 公式

$\begin{aligned}\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}=\frac{E(XY)-EX\cdot EY}{\sqrt{D(X)}\sqrt{D(Y)}}\end{aligned}$

 

3. 性质

• $-1\leq \rho_{XY}\leq1$

• $|\rho_{XY}|=1\Leftrightarrow$存在常数$a,b$，使$P\{Y=aX+b\}=1$

      $\begin{cases}\text{若}\rho=1,P\{Y=aX+b\}=1(a>0)\text{，且}X,Y\text{正相关}\\\text{若}\rho=-1,P\{Y=aX+b\}=1(a<0)\text{，且}X,Y\text{负相关}\end{cases}$

• $|\rho_{XY}|=0\Leftrightarrow$随机变量$X$与$Y$不相关