正定，半正定矩阵

已注销
426 阅读2分钟

「这是我参与2022首次更文挑战的第4天，活动详情查看：2022首次更文挑战」。

本文介绍正定矩阵和半正定矩阵。

定义

正定和半正定这两个词的英文分别是positive definite和positive semi-definite，其中，definite是一个形容词，表示“明确的、确定的”等意思。

正定

  • 给定一个大小为n×nn \times n 的实方阵AA ，若对于任意长度为nn的非零向量xx ，有xTAx>0x^TAx>0 恒成立，则矩阵AA是一个正定矩阵。
  • 此时，若AA为对称方阵，则称AA为对称正定矩阵。

半正定

  • 给定一个大小为n×nn \times n 的实方阵AA ，若对于任意长度为nn的非零向量xx ，有xTAx≥0x^TAx \ge 0 恒成立，则矩阵AA是一个半正定矩阵。
  • 此时，若AA为对称方阵，则称AA为对称半正定矩阵。

可以看到半正定矩阵包含了正定矩阵，仅多出了等于零的一种情况，类似于正数和非负数的关系。

性质

以正定矩阵为例，半正定矩阵仅多了等于零的情况。

  • 正定矩阵的行列式恒为正；

  • 实对称矩阵A正定当且仅当A与单位矩阵合同；

  • 若A是正定矩阵，则A的逆矩阵也是正定矩阵；

  • 两个正定矩阵的和是正定矩阵；

  • 正实数与正定矩阵的乘积是正定矩阵。

等价命题

对于n阶实对称矩阵A，下列条件是等价的（以正定矩阵为例）：

  • A是正定矩阵；

  • A的一切顺序主子式均为正；

  • A的一切主子式均为正；

  • A的特征值均为正；

  • 存在实可逆矩阵C，使A=C′C；

  • 存在秩为n的m×n实矩阵B，使A=B′B；

  • 存在主对角线元素全为正的实三角矩阵R，使A=R′R 。

协方差矩阵半正定

  • 在概率统计中，多维变量的协方差矩阵是对称矩阵，事实上同时它也是半正定矩阵：

推导

  • 考虑一个由nn个mm维向量刻画的分布，即共nn条数据，每条数据由一个mm维向量表示：

{% raw %}

X = \left [ { \ begin { array } { * { 2 0}{c}} {{x_{11}}}&{{x_{12}}}& \cdots &{{x_{1n}}}\\ {{x_{21}}}&{{x_{22}}}&{}&{{x_{2n}}}\\ \vdots &{}& \ddots & \vdots \\ {{x_{m1}}}&{{x_{m2}}}& \cdots &{{x_{mn}}} \end{array}} \right]

{% endraw %}

  • XX的均值为μX{\mu _X}
  • XX的协方差矩阵为:
∑X=1n(X−μX)(X−μX)T\sum\nolimits_X = \frac{1}{n}(X - {\mu _X}){(X - {\mu _X})^T}
  • 协方差矩阵 ΣX\Sigma_{X}，对其进行SVD分解：
ΣX=UΣVT{\Sigma_X} = U \Sigma {V ^ T }
  • 由于 ΣX\Sigma_{X} 是对称矩阵，可以得到：
U=VU=V
  • 而且UU是正交矩阵，有：

{% raw %}

UTΣXU=ΣU^T{\Sigma _X}U = \Sigma
Σ=UT(X−μX)(X−μX)TU\Sigma = {U^T}(X - {\mu _X}){(X - {\mu _X})^T}U
Σ=(UTX−UTμX)(UTX−UTμX)T\Sigma = ({U^T}X - {U^T}{\mu _X}){({U^T}X - {U^T}{\mu _X})^T}

{% endraw %}

  • 令Y=UTX−UTμXY = {U^T}X - {U^T}{\mu _X}：
Σ=YYT\Sigma = Y{Y^T}

  • 由于Σ\Sigma是特征值为对角线元素的对角阵，因此对角线外元素为0，表示YY中向量相互之间不相关。

  • 对于任意一个Σ\Sigma中的特征值λi\lambda_i，计算公式为：

λi=YiYiT=∑j=1nYij2≥0{\lambda _ i } = { Y _ i } { Y _ i } ^ T = \sum \limits_ {j = 1} ^n { {Y_{ij} } ^ 2} \ge 0
  • 因此协方差矩阵的特征值非负，是半正定矩阵。

参考资料

avatar
文章
阅读
粉丝