基础理论

一、矩阵乘法

1 存在非0的0因子

$A \ne \mathbb{0}, B \ne \mathbb{0}$ but $AB=0$

一个重要的例子: $N$ 矩阵
$N = \begin{bmatrix} 0 & 1 & 0 \\ 0 & 0 & 1\\ 0&0 & 0\\ \end{bmatrix}$ 主对角线上方的此对角线全是1，其他地方为0的方阵。这个矩阵的特点是 $N^2$ ，1的位置会向上推一行。若 $N$ 为 $s\times s$ 矩阵，则 $N^{s-1}$ 为左上角是1，其他全0的矩阵。 $N^s$ 为0矩阵。

2 分块乘法

分块乘法成立 $\Leftrightarrow$ 每一块的乘法都有意义 $\Leftrightarrow$ 左边矩阵列的划分和右边矩阵行的划分方式一致。

三角矩阵的乘积依然是三角矩阵
证明: 数学归纳法，对矩阵的大小归纳

$n = 1$ 时，显然成立

假设 $n = k (k \ge 0)$ 时，成立

对 $n=k+1$ ，对矩阵进行如下划分： $A=\begin{bmatrix} A_{k\times k} & a_{ij} \\ 0_{1\times k} & a\end{bmatrix}, B = \begin{bmatrix} B_{k\times k} & b_{ij} \\ 0_{1\times k} & b\end{bmatrix}$ ，这种划分下， $A$ 和 $B$ 的左上角都是三角阵。 $A*B=\begin{bmatrix} A_{k\times k}B_{k\times k} & A_{k\times k}a_{ij} + a_{ij} b\\ 0_{1\times k} & ab\end{bmatrix}$ ，左上角按照假设还是三角阵，整体三角阵。

3 慎用运算律

A与任意n阶方阵可交换 $\Leftrightarrow$ A是单位阵。

交换才可以带来的平方差公式和二项式定理的使用。

二、秩的认识

秩的定义

矩阵视角：矩阵做初等行变换化为阶梯型以后，非0行的个数
矩阵视角：非0子式的最高阶数
向量视角：列向量组的极大线性无关组的大小

补充：极大无关组的定义（满足线性无关、且可以表示向量组中的所有向量两个条件）若秩为 $r$ ，向量组中任意 $r$ 个线性无关的向量都是极大无关组。
方程组视角：齐次线性方程组 $Ax=0$ 的未知数的数量 - 的基础解系的向量数量

线性方程组和秩的关系

( n为矩阵的列数，方程组未知数的个数 )

对于非齐次线性方程组 $Ax=b$ ：

有解 $\Leftrightarrow r = r(A)=r([A, b])$

$r=n$ 有唯一解

$r < n$ 有无数解，自由未知量有 $n-r$ 个，基础解系的大小也是 $n-r$

如何理解基础解系？自由未知量的产生是由于他们所对应的列向量太垃圾了完全可以被其他的变量所代表。所以基础解系是其他变量基于自由未知量构建的。自由未知量随便变化，其他变量跟着变就可以把他们的影响抵消掉。每个变量随着某一个自由未知量的变化方式构成了一个列向量（基础解系的一个向量），针对所有自由未知量变化的方式形成基础解系。
对于齐次线性方程组 $Ax=0$ ：至少存在全0解。

有非零解 $\Leftrightarrow r(A) < n$ ，基础解系和自由未知量也是 $n-r$ 个

补充知识：线性方程组求解 Guass消元法初等变化化为阶梯型、找到没有非0首元的列作为自由未知量，回代求解。

秩的性质

下面n=A的列数=B的行数
$r(A+B)\le r(A) + r(B)$

把A和B分别按行划分，形成两个向量组，那么前者可以由A的极大无关组表示，后者可以由B的极大无关组表示，直接相加后至少可以由两个极大无关组的并集表示，实际的极大无关组可能会更小，所以不等式成立。
$r(AB) \le r(A), r(B)$

只证明 $r(AB)\le r(A)$ ，另一个类似
$A=[\alpha_1, \alpha_2, ..., \alpha_n]$
$AB = [\sum_{i} b_{i1}\alpha_i, \sum_{i} b_{i2}\alpha_i, ..., \sum_{i} b_{in}\alpha_i]$
$AB$ 的列向量可以由A的列向量组线性表示，所以 $r(AB)\le r(A)$
$r(AB) \ge r(A) + r(B) - n$
$r(M) \ge r(A) + r(B), M=\begin{bmatrix} A & C\\ O & B \end{bmatrix}$
$A_{n\times s}$ 的矩阵， $b$ 是 $s$ 维列向量， $A^H$ 表示 $A$ 的共轭转置，则(1) $r(A)=r(A^HA)$ ，(2) $A^HAx=A^Hb$ 恒有解

(1)的证明。思路：证明 $Ax=0$ 和 $A^HAx=0$ 两个方程组的解是一样的。 $\forall x_1 s.t. Ax_1=0 \rightarrow A^HAx=0$
$\forall x_2 s.t. A^HAx_2=0\rightarrow x_2^HA^HAx_2=0 \rightarrow(Ax_2)^HAx_2 = 0$ 而共轭转置向量的乘积大于等于0，所以 $Ax_2=0$ 。所以两个方程组解是完全一样的，秩相等。
(2)的证明。按照线性方程组有解的性质 $r(A^HA)=r([A^HA, b])$ 。先证明 $r(A^HA)\le r([A^HA, A^Hb])$ ，显然。再证明 $r(A^HA)\ge r([A^HA, A^Hb])$ 。右边的 $r([A^HA, A^Hb])=r(A^H[A, b])\le r(A^H) = r(A) = r(A^HA)$ 。最后一步由(1)知。

三、等价标准型

什么是等价？

如果A经过一系列初等变换（初等行变换、初等列变换、交换、倍乘、加减）可以变成B，那么A和B是等价的。

等价 $\Leftrightarrow r(A) = r(B)$

什么是等价标准型？

很自然想到，等价的矩阵有一个可以成为代表的矩阵,这就叫等价标准型： $E = \begin{bmatrix}I_r & O \\ O & O\end{bmatrix}$

等价如何刻画？

如果 $A_{s\times n}$ 与 $B_{s\times n}$ 等价，那么存在可逆矩阵 $P_{s\times s}, Q_{n\times n}$ ，使得 $A = PBQ$

背后的原理: 可逆阵可以写成一系列初等变换矩阵的乘积，而左乘一个初等变换矩阵，相当于对矩阵做初等行变换，右乘一个初等变换矩阵相当于对矩阵做初等列变换，所以 $PBQ$ 等于是进行了一系列的初等行、列变换。因此等价。

如何求 $P, Q$ 一般来说为了方便，都不会直接把A变成B，而是把A变成等价标准型 $E$ 步骤如下

$[B | I]$ ，联动进行初等行变换，一直变换到左侧成为标准阶梯型（阶梯的非0首元都是1），此时 $[B' | P]$ ，右侧就是P矩阵了。
$\begin{bmatrix} B' \\ I \end{bmatrix}$ ，联动进行初等列变换，一直变换到上方变成等价标准型 $E$ ，此时下侧就是Q矩阵了。
最终得到 $E=PBQ$ ，因为P和Q是可逆的，所以其他变换会很简单。

满秩分解

对任意 $A_{s\times n}, r(A)=r$ ，存在 $B_{s\times r}, C_{r \times n}, s.t. A=BC$ 。

证明：经过等价标准型的性质， $A=P\begin{bmatrix}I_r & O \\ O & O\end{bmatrix} Q=P\begin{bmatrix}I_r \\ O\end{bmatrix}\begin{bmatrix}I_r & O\end{bmatrix} Q = BC$

为什么叫满秩分解？

因为 $r = r(A)=r(BC)\le r(B), r(C)$ 。而B和C的秩最多是 $r$ ，因为宽度、高度的上限，所以满秩。

如何求？ 把A看成列向量组，因为B的秩刚好是 $r$ ，列数和A一样，所以直接取 $A$ 的列向量组的极大无关组排起来即可。C就变成了每一个A的列向量如何用B的无关组线性组合的系数。他其实刚好等于标准阶梯型的前n列。

0 基本知识