概率论基础 - 1 - 基础概念

已注销
181 阅读2分钟

这是我参与11月更文挑战的第3天，活动详情查看：2021最后一次更文挑战

本系列记录概率论基础知识，本文介绍最基本的概率论概念。

概率与分布

说到概率，需要先了解一个概念，叫做随机试验。随机试验是指在相同条件下对某随机现象进行的大量重复观测的试验，需满足以下三个条件：（1）在相同的条件下重复进行；（2）事先知道可能发生的所有结果，而且结果不止一个；（3）每一次试验都不能知道会是结果中的哪一个。

随机事件是在随机试验中产生的，可能出现也可能不出现，而在大量重复试验中具有某种规律性的事件。

而概率是对随机事件发生的结果可能性大小的客观度量。取值在0到1之间，也可以表示为百分数0%到100%之间。如果一个事件发生的概率为0，则称这个事件为不可能事件；如果一个事件发生的概率为1，则称这个事件为必然事件；如果一个事件发生的概率在0-1之间，那么这个事件则不一定发生，概率越靠近1，发生的可能性越大。

条件概率与独立事件

条件概率
  • 已知AA事件发生的条件下BB发生的概率，记作P(B∣A)P(B \mid A) ，它等于事件ABAB的概率相对于事件AA的概率，即：
P(B∣A)=P(AB)P(A)P(B \mid A)=\frac{P(A B)}{P(A)}
  • 其中 P(A)>0{P(A)} > 0
条件概率分布的链式法则
  • 对于nn个随机变量X1,X2,⋯ ,Xn{X_{1}, X_{2}, \cdots, X_{n}} ，有：
P(X1,X2,⋯ ,Xn)=P(X1)∏i=2nP(Xi∣X1,⋯ ,Xi1)P\left(X_{1}, X_{2}, \cdots, X_{n}\right)=P\left(X_{1}\right) \prod_{i=2}^{n} P\left(X_{i} \mid X_{1}, \cdots, X_{i} 1\right)
变量相互独立
  • 两个随机变量X,YX,Y相互独立的数学描述：
P(X,Y)=P(X)P(Y)P(X, Y)=P(X) P(Y)
变量相对独立
  • 两个随机变量X,YX,Y关于随机变量ZZ条件独立的数学描述：
P(X,Y∣Z)=P(X∣Z)P(Y∣Z)P(X, Y \mid Z)=P(X \mid Z) P(Y \mid Z)

联合概率分布

联合分布
  • 定义XX和YY的联合分布为：

{% raw %}

P(a,b)=P{X≤a,Y≤b},−∞<a,b<+∞P(a, b)=P\{X \leq a, Y \leq b\}, \quad-\infty < a , b < + \infty

{% endraw %}

  • XX的分布可以从联合分布中得到：

{% raw %}

PX(a)=P{X≤a}=P{X≤a,Y≤∞}=P(a,∞),−∞<a<+∞P_{X}(a)=P\{X \leq a\}=P\{X \leq a, Y \leq \infty\}=P(a, \infty), \quad-\infty < a < + \infty

{% endraw %}

  • YY的分布可以从联合分布中得到：

{% raw %}

PY(b)=P{Y≤b}=P{X≤∞,Y≤b}=P(∞,b),−∞<b<+∞P_{Y}(b)=P\{Y \leq b\}=P\{X \leq \infty, Y \leq b\}=P(\infty, b), \quad-\infty < b < + \infty

{% endraw %}

联合概率质量函数
  • 当XX和YY都是离散随机变量时， 定义XX和YY的联合概率质量函数为：

{% raw %}

p(x,y)=P{X=x,Y=y}p(x, y)=P\{X=x, Y=y\}

{% endraw %}

  • XX和YY的概率质量函数分布为：
pX(x)=∑yp(x,y)pY(y)=∑xp(x,y)p_{X}(x)=\sum_{y} p(x, y) \quad p_{Y}(y)=\sum_{x} p(x, y)
概率密度函数
  • 当XX和YY联合地连续时，即存在函数p(x,y)p(x,y) ，使得对于所有的实数集合A\mathbb{A}和B\mathbb{B}满足：

{% raw %}

P{X∈A,Y∈B}=∫B∫Ap(x,y)dxdyP\{X \in \mathbb{A}, Y \in \mathbb{B}\}=\int_{\mathbb{B}} \int_{\mathbb{A}} p(x, y) d x d y

{% endraw %}

  • 则函数p(x,y)p(x,y)称为XX和YY的概率密度函数。
  • XX和YY的联合分布为：

{% raw %}

P(a,b)=P{X≤a,Y≤b}=∫−∞a∫−∞bp(x,y)dxdyP(a, b)=P\{X \leq a, Y \leq b\}=\int_{-\infty}^{a} \int_{-\infty}^{b} p(x, y) d x d y

{% endraw %}

  • XX和YY的分布函数：
PX(a)=∫−∞a∫−∞∞p(x,y)dxdy=∫−∞apX(x)dxP_{X}(a)=\int_{-\infty}^{a} \int_{-\infty}^{\infty} p(x, y) d x d y=\int_{-\infty}^{a} p_{X}(x) d x
PY(b)=∫∞∞∫∞bp(x,y)dxdy=∫∞bpY(y)dyP_{Y}(b)=\int_{\infty}^{\infty} \int_{\infty}^{b} p(x, y) d x d y=\int_{\infty}^{b} p_{Y}(y) d y
  • XX和YY的概率密度函数：
pX(x)=∫−∞∞p(x,y)dyp_{X}(x)=\int_{-\infty}^{\infty} p(x, y) d y
pY(y)=∫−∞∞p(x,y)dxp_{Y}(y)=\int_{-\infty}^{\infty} p(x, y) d x

参考资料

avatar
文章
阅读
粉丝