期望 （expectation）：函数f(x)关于某分布P(x)，当x由P产生时，f作用于x时，f(x)的平均值。它是试验中每次可能结果的概率乘以其结果的总和。
对于离散型随机变量，通过求和得到：
对于连续型随机变量，通过求积分得到：
方差（variance）：对x依据它的概率分布进行采样时，随机变量x的函数值会呈现的差异。即：
标准差（standard deviation）：当方差很小时，f(x)的值形成的簇比较接近它们的期望值。方差的平方被称为标准差。
协方差（covariance）：衡量两个变量的总体误差。即：
协方差的绝对值如果很大，则意味着变量值变化很大，并且它们同时距离各自的均值很远。如果协方差是正的，那么两个变量都倾向于同时取得相对较大的值。如果协方差是负的，那么其中一个变量倾向于取得相对较大的值的同时，另一个变量倾向于取得相对较小的值，反之亦然。
