正交-不相关-独立「这是我参与2022首次更文挑战的第3天，活动详情查看：2022首次更文挑战」。概述考察$m$维随

「这是我参与2022首次更文挑战的第3天，活动详情查看：2022首次更文挑战」。

本文介绍随机变量中正交、不相关、独立的区别和联系。

概述

三者均是描述随机变量之间关系的概念，看似都可以表示两个随机变量的疏远关系，但定义和约束均有不同。

考察 $m$ 维随机变量 $X,Y$ 之间的关系。

定义

正交

定义 $R(X, Y) = E[XY]$ 为相关函数：若 $R(X, Y)=0$ ，称 $X,Y$ 正交

不相关

定义 $E[XY] = E[X]E[Y]$ ，则 $X,Y$ 不相关

$X,Y$ 的协方差：

Cov(X,Y)=E[XY]- E[X]E[Y]

不相关也可以用协方差为0表示

$X,Y$ 的相关系数：

r(X, Y)=\frac{\operatorname{Cov}(X, Y)}{\sqrt{\operatorname{Var}[X] \operatorname{Var}[Y]}}

不相关也可以用相关系数为0表示

独立

独立一般用他们的概率密度函数来表示。联合分布等于他们各自的独立边缘分布的乘积，则称为独立：

p(X,Y) = p(X)p(Y)

关系

独立 -> 不相关

独立是对变量更严苛的要求，如果两个随机变量独立，则必定不相关，也就是说独立是不相关的充分不必要条件。

若已知 $X,Y$ 联合概率密度 $f(x, y)$ 等于二者边缘密度函数 $g(x), h(y)$ 的乘积，则有：

{% raw %}

E (X,Y)=\iint x y f(x, y) d x d y=\iint x y g(x) h(y) d x d y=\int x g(x) d x \int y h(y) d y=E (X) E(Y)

{% endraw %}

因此独立变量不相关，而相反不相关无法直接推导出独立

不相关 --高斯分布--> 独立

在随机变量服从高斯分布时，不相关可以推导出独立：

我们此时考虑稍复杂一些的情况， $X$ 为 $n$ 维随机变量：

X^T=[x_1,x_2,...,x_n]

随机变量之间两两不相关，并且服从高斯分布：

{% raw %}

Cov(x_i,x_j)=0,i \ne j

x_i \sim N\left(\mu_i, \sigma_i^{2}\right)

{% endraw %}

那么此时 $X$ 的联合概率密度函数为：

{% raw %}

f\left( {{x_1},{x_x} \ldots ,{x_n}} \right) = \frac{1}{{\sqrt {{{\left( {2\pi } \right)}^n}} {{\left| {\bf{\Sigma }} \right|}^{\frac{1}{2}}}}}{e^{ - \frac{1}{2}{{({\bf{X}} - {\bf{\mu }})}^T}{{\bf{\Sigma }}^{ - 1}}({\bf{X}} - {\bf{\mu }})}}

{% endraw %}

其中 ${\bf{\Sigma } }$ 为协方差矩阵，因为随机变量之间两两不相关：

{% raw %}

{\bf{\Sigma }} = \left( {\begin{array}{*{20}{c}} {\sigma _1^2}&{}&{}&{}\\ {}&{\sigma _2^2}&{}&{}\\ {}&{}& \ddots &{}\\ {}&{}&{}&{\sigma _n^2} \end{array}} \right)

{% endraw %}

其中 $\sigma_i$ 为 $x_i$ 的标准差，那么联合概率密度函数可以写为：

{% raw %}

\begin{aligned} f\left( {{x_1},{x_x} \ldots ,{x_n}} \right) &= \frac{1}{{\sqrt {{{\left( {2\pi } \right)}^n}} \prod\limits_{i = 1}^n {{\sigma _i}} }}{e^{ - \frac{1}{2}{{({\bf{X}} - {\bf{\mu }})}^T}\left( {\begin{array}{*{20}{c}} {\frac{1}{{\sigma _1^2}}}&{}&{}&{}\\ {}&{\frac{1}{{\sigma _2^2}}}&{}&{}\\ {}&{}& \ddots &{}\\ {}&{}&{}&{\frac{1}{{\sigma _n^2}}}\\ \end{array}} \right)({\bf{X}} - {\bf{\mu }})}}\\ &= \frac{1}{{\sqrt {{{\left( {2\pi } \right)}^n}} \prod\limits_{i = 1}^n {{\sigma _i}} }}{e^{ - \frac{1}{2}[\frac{{{x_1} - {\mu _1}}}{{\sigma _1^2}},\frac{{{x_2} - {\mu _2}}}{{\sigma _2^2}},...,\frac{{{x_n} - {\mu _n}}}{{\sigma _n^2}}]({\bf{X}} - {\bf{\mu }})}}\\ & = \frac{1}{{\sqrt {{{\left( {2\pi } \right)}^n}} \prod\limits_{i = 1}^n {{\sigma _i}} }}{e^{ - \frac{1}{2}\sum\limits_{i = 1}^n {\frac{{{{({x_n} - {\mu _n})}^2}}}{{\sigma _n^2}}} }}\\ & = \prod\limits_{i = 1}^n {\frac{1}{{\sqrt {2\pi } {\sigma _i}}}} {e^{ - \frac{1}{2}\frac{{{{({x_i} - {\mu _i})}^2}}}{{\sigma _i^2}}}} \\ & = \prod\limits_{i = 1}^n {f({x_i})} \end{aligned}

{% endraw %}

因此在随机变量服从高斯分布时，不相关与独立等价，互为充要条件。

正交 -- 不相关

根据定义可以得知：当 $E[X]，E[Y]$ 至少有一个为0时正交等价于不相关。

正交-不相关-独立

概述

定义

正交

不相关

独立

关系

独立 -> 不相关

不相关 --高斯分布--> 独立

正交 -- 不相关

参考资料