机器学习之期望&方差

198 阅读2分钟

「这是我参与11月更文挑战的第20天,活动详情查看:2021最后一次更文挑战」。

期望

In probability theory, the expected value of a random variable, intuitively, is the long-run average value of repetitions of the experiment it represents. 期望值像是随机试验在同样的机会下重复多次,所有那些可能状态平均的结果,便基本上等同“期望值”所期望的数。

如果X是在概率空间(Ω, F, P)中的随机变量,那么它的期望值E[X]的定义是: expectation

也就是试验中每次可能的结果乘以其结果概率的总和。

期望的基本性质有:

  • 线性 linear
  • 在一般情况下,两个随机变量的积的期望值不等于这两个随机变量的期望值的积。
  • 当 E[XY]=E[x]E[y]成立时,随机变量 X和 Y的协方差为0,又称它们不相关。特别的,当两个随机变量独立时,它们协方差(若存在)为0。
  • 期望值也可以通过方差计算公式来计算方差 apply

方差

In probability theory and statistics, variance is the expectation of the squared deviation of a random variable from its mean.Informally, it measures how far a set of (random) numbers are spread out from their average value.

方差,描述了一个随机变量的离散程度。

定义:

随机变量X的方差为: 1 这个定义涵盖了连续、离散、或两者都有的随机变量。方差亦可作随机变量与自身的协方差: 2

  • 对于连续随机变量: 3 f(x)为X的概率密度函数

  • 对于离散随机变量: 4

性质

1 . 一个常数随机变量的方差为0 2 . 平移不会改变随机变量的方差 9 3 . 缩放会使方差变化平方倍 8 4 . 两个随机变量和的方差 7 Cov(X,Y)表示X,Y的协方差 6