Matrix Analysis-Chapter 0

本内容是对Roger A. Horn教授和Charles R. Johnson教授所著，杨奇所译《Matrix Analysis》的简要概括，留作自己日常工作查询使用。在此向编写优秀教材的作者及译者致敬。

博文作者为便于查询时快速理解的目的，在整理教材所示定理的同时会尽可能给出较为通俗的个人理解或关联知识，并尽可能给出该教材课后习题的解答。

本章内容主要介绍基础线性代数内容，鉴于学习本教材的读者应当掌握一定的线性代数知识，本文也仿照教材中的做法，对较为基础的部分只做简明概述。

0.1 向量空间

0.1.1 纯量域

本书中几乎只考虑基域为实数域 $\mathbb{R}$ 或复数域 $\mathbb{C}$ 的情形，针对域的定义及更多相关知识可参考抽象代数有关教材。

0.1.2 向量空间

域 $\mathbb{F}$ 上的向量空间 $V$ 是向量的集合，

在加法运算下封闭，且该运算满足交换律和结合律，
有“0”元和加法逆元；
此外，向量空间还满足对 $\forall x\in\mathbb{F}$ 左乘封闭；
且对 $\forall a,b\in\mathbb{F}$ , $a(x+y)=ax+ay,(a+b)x=ax+bx,a(bx)=(ab)x$ ;
对域 $\mathbb{F}$ 中的乘法单位元 $e\in\mathbb{F}$ ,有 $ex=x$ 。

本教材中讨论的基本向量空间是 $\mathbb{R}^n,\mathbb{C}^n$ ,常见的向量空间还有 $Poly(\mathbb{R},n)$ , $Poly(\mathbb{C},n)$ , $\mathbb{C}[0,1]$ , $\mathbb{C}(\mathbb{R}),\mathbb{C}(\mathbb{C})$ 等。

0.1.3 子空间和张成（span）

向量空间的子空间也是向量空间，一般是该空间在某些维度上的限制；两个子空间的交仍然是子空间。

对任一向量集合 $S=\{v_1,\cdots,v_k\}$ ,其张成 $span(S)=\{a_1v_1+\cdots+a_kv_k|a_i\in\mathbb{F},v_i\in S\}$ ,即使 $S$ 不是子空间， $span(S)$ 仍然是子空间。

0.1.4 线性相关和线性无关

向量组 ${x_1,\cdots,x_k}$ 线性相关： $\exists a_1,\cdots,a_k\in\mathbb{F}$ 不全为零,s.t. $a_1x_1+\cdots+a_kx_k=0$

反之则为线性无关。

0.1.5 基

能张成整个向量空间的线性无关组称为该向量空间的一组基。该空间中任一向量可以用基的线性组合表示。

0.2 矩阵

通常用 $M_{m,n}(\mathbb{F})$ 表示 $\mathbb{F}$ 域上 $m$ 行 $n$ 列的矩阵。

与矩阵有关的基础知识应为线性代数的基本内容。

0.3 行列式

行列式只对方阵 $A\in M_n(\mathbb{F})$ 有定义，记为 $det A$ .

0.3.1 Laplace展开

$detA=\sum_{i=1}^na_{ij}\cdot detA_{ij}=\sum_{j=1}^na_{ij}\cdot A_{ij}$

其中 $A_{ij}$ 表示 $A$ 划去第 $i$ 行第 $j$ 列的子矩阵，由之可推导出各阶方阵行列式的求解公式。

0.3.2 行简化梯形阵（RREF）

RREF是矩阵的标准型，可由一系列初等变换得到，任一矩阵的RREF唯一，且满足定义

若该行不为全零的，则第一个非零元是1；
具有首元为1的列的所有其他元素均为零；
全零行只出现在底部
下一行的首1元必须出现在上一行右侧 RREF可由高斯消元法求得，对任意两方程组，其解集合完全相同，当且仅当其增广矩阵的RREF完全相同。

0.3.3 其他性质

$detAB=detA\cdot detB$ ,易证。行列式是唯一满足下列条件的函数 $f:M_n(\mathbb{F})\rightarrow\mathbb{F}$ :

多重线性性
交错：对第一种初等变换，其结果乘上-1；
规范： $f(I)=1$ ,其中 $I$ 为单位矩阵

积和式函数不满足交错性。

0.4 秩

秩是矩阵列向量组中，极大线性无关组中向量的数量。行秩=列秩。

线性方程组是相容（有解）的，当且仅当其增广矩阵与原矩阵的秩相同。（此时增广的列向量与原矩阵列向量线性相关，有解。）

原矩阵的秩与其RREF相同；

有如下性质：

$\forall A_{m\times n}, rank(A)\leq \min\{m,n\}$
矩阵的任意子矩阵的秩不大于原矩阵的秩
$\forall A\in M_{m,k}(\mathbb{F}),B\in M_{k,n}(\mathbb{F}), rank(A)+rank(B)-k\leq rank(AB)\leq \min\{rank(A),rank(B)\}$
$\forall A,B\in M_{m,n}(\mathbb{F}), rank(A+B)\leq rank(A)+rank(B)$
$\forall A\in M_{m,k}(\mathbb{F}),B\in M_{k,p}(\mathbb{F}), C\in M_{p,n}(\mathbb{F}), rank(AB)+rank(BC)\leq rank(B)+rank(ABC)$

0.5 非奇异的

以下命题等价：

$A\in M_n(\mathbb{F})$ 是非奇异的
$A^{-1}$ 存在；
$rank(A)=n$
$A$ 的行/列线性无关
$detA\neq0$
$dim(Ker(A))=0,dim(Im(A))=n$
0不是 $A$ 的特征值

所有 $n$ 阶非奇异矩阵构成群，记为 $GL(n,\mathbb{F})$ .

0.6 内积

$\langle x,y\rangle=y^{*}x$ ,满足共轭线性性；若 $\langle x,y\rangle=0$ ,则称其正交的。

0.6.1 Cauchy-Schiwarz ineq

$|\langle y,x\rangle|\leq\langle x,x\rangle^{\frac{1}{2}}\langle y,y\rangle^{\frac{1}{2}}$ ,当且仅当 $x,y$ 共线，等号成立。

$x,y$ 之间夹角可表示为 $\cos\theta=\frac{|\langle y,x\rangle|}{\langle x,x\rangle^{\frac{1}{2}}\langle y,y\rangle^{\frac{1}{2}}}$

0.6.2 Gram-Schmidt Orthogonalization

利用Gram-Schimidt正交化生成标准正交基。

正交补： $S^{\perp}=\{x\in\mathbb{C^n}:\langle x,y\rangle=0,\forall y\in S\}$

正交补一定是子空间，且 $(S^\perp)^\perp = span(S),span(S\cup S^\perp)=V$

0.7 分块矩阵

分块矩阵求逆：对一分块矩阵 $A=\left[\begin{matrix}A_{11} & A_{12}\\ A_{21} & A_{22}\end{matrix}\right]$ ,有

$A^{-1}=\left[\begin{matrix}[A_{11}-A_{12}A_{22}^{-1}A_{21}]^{-1} & A_{11}^{-1}A_{12}[A_{21}A_{11}^{-1}A_{12}-A_{22}]^{-1}\\ [A_{21}A_{11}^{-1}A_{12}-A_{22}]^{-1}A_{21}A_{11}^{-1} & [A_{22}-A_{21}A_{11}^{-1}A_{12}]^{-1}\end{matrix}\right]$

Matrix Analysis-Chapter 0: Preliminaries