19-20（1.2.2 期望和协方差）涉及概率的最重要的操作之一是求函数的加权平均数。概率分布p(x)下的某些函数f(x

涉及概率的最重要的操作之一是求函数的加权平均数。概率分布 $p(x)$ 下的某些函数 $f(x)$ 的平均值称为 $f(x)$ 的期望值，用 $E[f]$ 表示。对于离散分布，它由下式给出

E[f]=\sum_xp(x)f(x)\tag{1.33}

因此，平均值由 $x$ 的不同值的相对概率加权。在连续变量的情况下，期望值表示为关于相应概率密度的积分

E[f]=\int p(x)f(x)dx\tag{1.34}

在这两种情况下，如果我们从概率分布或概率密度中得到有限数量的 $N$ 个点，那么期望值可以近似为这些点上的有限和

E[f]\simeq \frac{1}{N}\sum_{n=1}^Nf(x_n)\tag{1.35}

当我们在第11章讨论抽样方法时，我们将广泛使用这个结果。（1.35）中的近似值在极限 $N\rightarrow\infty$ 内变得精确。

有时我们会考虑多个变量函数的期望值，在这种情况下，我们可以使用下标来指示哪个变量被平均，例如

E_x[f(x,y)]\tag{1.36}

表示函数 $f(x,y)$ 相对于 $x$ 的分布的平均值。注意， $E_x[f(x,y)]$ 将是 $y$ 的函数。

我们也可以考虑关于条件分布的条件期望，以便

E_x[f(y)]=\sum_xp(x|y)f(x)\tag{1.37}

与连续变量的类似定义。

$f(x)$ 的方差定义为

var[f]=E[(f(x)-E[f(x)])^2]\tag{1.38}

并提供了一个测量值，即 $f(x)$ 在其平均值 $E[f(x)]$ 周围有多少变化。扩大平方，我们可以看到方差也可以用 $f(x)$ 和 $f(x)^2$ 的期望值来表示

var[f]=E[f(x)^2]-E[f(x)]^2\tag{1.39}

特别是，我们可以考虑变量 $x$ 本身的方差，这是由

var[x]=E[x^2]-E[x]^2\tag{1.40}

对于两个随机变量 $x$ 和 $y$ ，协方差的定义如下：

cov[x,y]=E_{x,y}[\{x-E[x]\}\{y-E[y]\}]=E_{x,y}[xy]-E[x]E[y]\tag{1.41}

表示 $x$ 和 $y$ 一起变化的程度。如果 $x$ 和 $y$ 是独立的，那么它们的协方差就消失了。

在随机变量 $x$ 和 $y$ 的两个向量的情况下，协方差是一个矩阵

cov[x,y]=E_{x,y}[\{x-E[x]\}\{y^T-E[y^T]\}]=E_{x,y}[xy^T]-E[x]E[y^T]\tag{1.42}

如果我们考虑向量 $x$ 的分量之间的协方差，那么我们使用一个稍微简单的符号 $cov[x]\equiv cov[x,x]$ 。