文章内容

• 向量组及其线性相关性
• 向量组的秩
• 深入理解矩阵的秩
• 内积、正交性、线性空间

向量组及其线性相关性

向量和向量组

定义：$n$ 个数 $a_1, a_2, \cdots, a_n$ 构成的有序数组，称为一个 $n$ 元向量 (也称 $n$ 维向量)，记作

$\alpha=[a_1, a_2, \cdots, a_n]$，其中 $\alpha_i$ 称为 $\alpha$ 的第 $i$ 个分量. 向量写成上述形式称为行向量，写成列

$\alpha = \begin{bmatrix} a_1 \\ a_2 \\ \vdots \\ a_n \end{bmatrix}=[a_1, a_2, \cdots, a_n]^T$ 的形式，称为列向量.

向量本质上还是一个有方向和大小的量，在线性代数中我们用矩阵的形式来表示。

例如向量 $\alpha=[3, 4]$，意思是在两个维度上大小分别为 3 和 4：

例：

• 行向量：$\alpha=\begin{bmatrix}1 & 2 & 3\end{bmatrix}$

• 列向量：$\alpha=\begin{bmatrix}1 \\ 2 \\ 3\end{bmatrix} = \begin{bmatrix}1 & 2 & 3\end{bmatrix}^T$

定义：给定 $\{\alpha_1, \alpha_2, \cdots, \alpha_m\}$ (这里的 $\alpha$ 是向量, 不是数)，对于任何一组实数 $\{k_1, k_2, \cdots, k_m\}$，$\sum_{i=1}^nk_ia_i=k_1a_1+k_2a_2+\cdots+k_ma_m$ 称为向量组 $\{\alpha_1, \alpha_2, \cdots, \alpha_m\}$ 的一个线性组合，$\{k_1, k_2, \cdots, k_n\}$ 称为这个线性组合的系数.

多个向量组合在一起得到一个向量组

几个向量加系数组合成的一个表达式就是一个线性组合，线性组合的结果得到一个新的向量(就和几个数字加减乘除后结果还是一个数字一样)

例：线性组合 $0.8\alpha+1.2\beta-\gamma$

• 向量组 $\{\alpha, \beta, \gamma\}$，系数 $\{0.8, 1.2, -1\}$

线性表示

定义：给定向量组 $\{\alpha_1, \alpha_2, \cdots, \alpha_m\}$ 和向量 $\beta$，若存在一组数 $\{\lambda_1, \lambda_2, \cdots, \lambda_m\}$，使得 $\beta=\lambda_1\alpha_1+\lambda_2\alpha_2+\cdots+\lambda_m\alpha_m$，则向量 $\beta$ 是向量组 $\{\alpha_1, \alpha_2, \cdots, \alpha_m\}$ 的线性组合，称向量 $\beta$ 能由向量组 $\{\alpha_1, \alpha_2, \cdots, \alpha_m\}$ 线性表示 (线性表出).

给定一个向量组，如果这个向量组通过线性组合能得到向量 $\beta$，就说 $\beta$ 能被这个向量组线性表示.

例：向量 $\alpha_1=[1,2], \alpha_2=[2,3]$ 向量组 $\{\alpha_1, \alpha_2 \}$，向量 $\beta=[1,2]$

• $\beta = 1*\alpha_1 + 0 * \alpha_2 \rightarrow$ 向量 $\beta$ 能被向量组$\{\alpha_1,\alpha_2\}$ 线性表示

定义：如果向量组中每一个向量可由另一个向量组线性表示，就称前一个向量组可由后一个向量组线性表示. 如果两个向量组可以相互线性表示，则称这两个向量组是等价的.

有向量组 $A,B$，如果 $A$ 中的任意一个向量都能被 $B$ 线性表示，就说 向量组$A$ 能被 $B$ 线性表示，如果他俩能互相线性表示，就说他俩等价

性质：向量组等价的三条性质

① 反身性：向量组和其本身等价。

向量组 $A$，$A$ 和它自身肯定是等价的，例如设 $A=\{\alpha_1, \alpha_2, \alpha_3\}$

• $\alpha_1 = 1*\alpha_1 + 0*\alpha_2 + 0*\alpha_3$ (其它向量同理)

② 对称性：向量组 $A$ 和 $B$ 等价，那向量组 $B$ 和 $A$ 也是等价的。

③ 传递性：有向量组 $A,B,C$，已知 $A$ 和 $B$ 等价, $B$ 和 $C$ 等价，则向量组 $A$ 和 $C$ 等价.

线性相关性

定义：给定 $m$ 个向量 $\{\alpha_1, \alpha_2, \cdots, \alpha_m\}$，如果存在 $m$ 个不全为零的数 $\{k_1,k_2,\cdots,k_m\}$ 使得$\sum_{i=1}^mk_i\alpha_i = k_1\alpha_1+k_2\alpha_2+\cdots+k_m\alpha_m=0$ 成立，则称 $\{\alpha_1, \alpha_2, \cdots, \alpha_m\}$ 线性相关，否则，称 $\{\alpha_1, \alpha_2, \cdots, \alpha_m\}$ 线性无关.

如果向量组只含有一个向量的话，如果这个向量是零向量 (元素均为0)，则线性相关

• 零向量乘以任意系数都得0

如果向量组中包含一个零向量，则该向量组一定线性相关：零向量系数为非零，向量组中其它向量的系数都置为0即可

• 定理1：向量组 $\{\alpha_1,\cdots,\alpha_m\}\quad(m \geq 2)$ 线性相关的充要条件是 $\alpha_1,\cdots,\alpha_m$ 中至少有一个向量可由其余 $(m-1)$ 个向量线性表示

  根据定义，我们只需找到一个不为0的系数满足条件即可(也就是找到至少一个向量能被其它向量线性表示). 假设一个向量组 $\{\alpha_1, \alpha_2, \alpha_3\}$，系数 $\{k_1,k_2,k_3\}$，有：

  • $k_1\alpha_1+k_2\alpha_2+k_3\alpha_3=0 \rightarrow \alpha_3=-(\frac{k_1}{k_3}\alpha_1+\frac {k_2}{k_3}\alpha_2) \rightarrow \alpha_3能被\alpha_1和\alpha_2线性表示$

• 定理2：若向量组 $\{\alpha_1,\alpha_2,\cdots,\alpha_m\}$ 中有一部分向量线性相关，则整个向量组也线性相关 (部分相关，整体相关)

  该命题的逆否命题：若 $\{\alpha_1,\alpha_2,\cdots,\alpha_m\}$ 线性无关，则其任一部分向量组也线性无关 (整体无关，部分无关)

  向量组中部分向量已经线性相关后，由于只需存在一种情况满足条件即线性相关，因此就算再添加一些其它向量，考虑最简单的情况，我们将新添加的这部分向量的系数都设为0，那依然满足$\sum_{i=1}^mk_i\alpha_i = k_1\alpha_1+k_2\alpha_2+\cdots+k_m\alpha_m=0$

• 定理3：设 向量组 $\{a_1,a_2,\cdots,a_s\}$ ($a_i$为 $m$ 维向量)，$\{\beta_1,\beta_2,\cdots,\beta_s\}$ ($\beta_i$为 $n$ 维向量)，$\gamma=\{\gamma_1,\gamma_2,\cdots,\gamma_s\}$，其中 $\gamma_i=[a_i, \beta_i]$ ($\gamma_i$为 $m+n$ 维向量)，若向量组 $\{a_1,a_2,\cdots,a_s\}$ 线性无关，则向量组 $\gamma=\{\gamma_1,\gamma_2,\cdots,\gamma_s\}$ 线性无关；反之，若 $\gamma=\{\gamma_1,\gamma_2,\cdots,\gamma_s\}$ 线性相关，则 $\{a_1,a_2,\cdots,a_s\}$ 线性相关.

  ①：若向量组 $a_1,a_2,\cdots,a_s$ 线性无关，则向量组 $\gamma=\gamma_1,\gamma_2,\cdots,\gamma_s$ 线性无关 例：$\begin{cases}a_1=[1,0,0]\\a_2=[0,1,0]\\a_3=[0,0,1]\end{cases},\begin{cases}\beta_1=[x_1,x_2] \\ \beta_2=[x_3,x_4] \\ \beta_3=[x_5,x_6] \end{cases}，则\begin{cases} \gamma_1=[1,0,0,x_1,x_2]\\ \gamma_2=[0,1,0,x_3,x_4] \\ \gamma_3=[0,0,1,x_5,x_6] \end{cases}$

  $\{a_1,a_2,a_3\}$ 线性无关 $\rightarrow$ 不存在 $k_1[1,0,0]+k_2[0,1,0]+k_3[0,0,1]=[0,0,0]$

  因此不存在 $k_1[1,0,0,x_1,x_2]+k_2[0,1,0,x_3,x_4]+k_3[0,0,1,x_5,x_6]=[0,0,0,0,0]$ (就算$\beta_i$全为 0 那也不存在，因为前三个元素的结果不可能为0)

  ②：若 $\{\gamma=\gamma_1,\gamma_2,\cdots,\gamma_s\}$ 线性相关，则 $\{a_1,a_2,\cdots,a_s\}$ 线性相关

  同理，若向量组 $\gamma$ 线性相关，那么肯定存在一种向量与系数乘积的和为0($[0,0,0,0,0]$)的情况，既然存在五个位置元素都为0的情况，那肯定也存在 $[0,0,0,x_1,x_2]$的情况

例：设向量组 $\{\alpha_1, \alpha_2, \alpha_3, \alpha_4\}$ 线性无关，判断以下向量组的相关性

1. $\{\alpha_1+\alpha_2, \alpha_2+\alpha_3,\alpha_3+\alpha_4,\alpha_4+\alpha_1\}$
2. $\{\alpha_1+\alpha_2, \alpha_2+\alpha_3, \alpha_3-\alpha_4, \alpha_4-\alpha_1\}$
3. $\{\alpha_1-\alpha_2, \alpha_2-\alpha_3, \alpha_3-\alpha_4, \alpha_4-\alpha_1\}$
4. $\{\alpha_1+\alpha_2, \alpha_2-\alpha_3,\alpha_3-\alpha_4,\alpha_4-\alpha_1\}$

这题比较简单，前三个选项就直接观察得出 (尝试消去同项，观察最终是否能成功消除得0)，正常做法和第四小问方法同理

① $\{\alpha_1+\alpha_2, \alpha_2+\alpha_3,\alpha_3+\alpha_4,\alpha_4+\alpha_1\}$：线性相关

观察易得：$(\alpha_1+\alpha_2)-(\alpha_2+\alpha_3)+(\alpha_3+\alpha_4)-(\alpha_4+\alpha_1) = \alpha_1+\alpha_2-\alpha_2-\alpha_3+\alpha_3+\alpha_4-\alpha_4-\alpha_1 = 0$，即存在系数 $1,-1,1,-1$ 满足条件

② $\{\alpha_1+\alpha_2, \alpha_2+\alpha_3, \alpha_3-\alpha_4, \alpha_4-\alpha_1\}$：线性相关

观察易得：$(\alpha_1+\alpha_2)-(\alpha_2+\alpha_3)+(\alpha_3-\alpha_4)+(\alpha_4-\alpha_1)=\alpha_1+\alpha_2-\alpha_2-\alpha_3+\alpha_3-\alpha_4+\alpha_4-\alpha_1=0$，即存在系数 $1,01,1,1$ 满足条件

③ $\{\alpha_1-\alpha_2, \alpha_2-\alpha_3, \alpha_3-\alpha_4, \alpha_4-\alpha_1\}$：线性相关

观察易得：$(\alpha_1-\alpha_2)+(\alpha_2-\alpha_3)+(\alpha_3-\alpha_4)+(\alpha_4-\alpha_1)=\alpha_1-\alpha_2+\alpha_2-\alpha_3+\alpha_3-\alpha_4+\alpha_4-\alpha_1=0$，即存在系数 $1,1,1,1$ 满足条件

④ $\{\alpha_1+\alpha_2, \alpha_2-\alpha_3,\alpha_3-\alpha_4,\alpha_4-\alpha_1\}$：线性无关

设系数 $k_1,k_2,k_3,k_4$，假设该向量组线性相关，则有：

$k_1(\alpha_1+\alpha_2)+k_2(\alpha_2-\alpha_3)+k_3(\alpha_3-\alpha_4)+k_4(\alpha_4-\alpha_1)=0$

整理得：$(k_1-k_4)\alpha_1+(k_1+k_2)\alpha_2+(k_3-k_2)\alpha_3+(k_4-k_3)\alpha_4=0$

已知向量组 $\alpha_1, \alpha_2, \alpha_3, \alpha_4$ 线性无关，则只有当系数全为 0 时等式成立

有：$\begin{cases} k_1-k_4=0 \quad (1)\\ k_1+k_2=0 \quad (2)\\ k_3-k_2=0 \quad (3)\\ k_4-k_3=0 \quad (4)\end{cases}$

• (1),(3),(4) 式得：$k_1=k_2=k_3=k_4$
• (2) 式得：$k_1=-k_2$
• 则有 $k_1=k_2=k_3=k_4=0$

故 只有当系数全为0时满足条件，$\{\alpha_1+\alpha_2, \alpha_2-\alpha_3,\alpha_3-\alpha_4,\alpha_4-\alpha_1\}$ 线性无关

法2：用向量和矩阵的秩 (向量的秩下面有介绍，矩阵的秩参考之前的文章)

$\underbrace{[\alpha_1,\alpha_2,\alpha_3,\alpha_4]}_{满秩}\underbrace{\begin{bmatrix}1 & 0 & 0 & -1 \\ 1 & 1 & 0 & 0 \\ 0 & -1 & 1 & 0 \\ 0 & 0 & -1 & 1\end{bmatrix}}_{满秩} = [\alpha_1+\alpha_2,\alpha_2-\alpha_3,\alpha_3-\alpha_4,\alpha_4-\alpha_1]$

由图中这两个矩阵满秩可推出结果矩阵也满秩，则 $\{\alpha_1+\alpha_2,\alpha_2-\alpha_3,\alpha_3-\alpha_4,\alpha_4-\alpha_1\}$ 线性无关.

向量组的秩

极大线性无关组

定义：设向量组 $\alpha_1,\alpha_2,\cdots,\alpha_s$ 的部分组 $\alpha_{i1},\alpha_{i2},\cdots,\alpha_{ir}$ 满足条件：

1. $\alpha_{i1},\alpha_{i2},\cdots,\alpha_{ir}$ 线性无关
2. $\alpha_1,\alpha_2,\cdots,\alpha_s$ 中任一向量均可由 $\alpha_{i1},\alpha_{i2},\cdots,\alpha_{ir}$ 线性表示，则称向量组 $\alpha_{i1},\alpha_{i2},\cdots,\alpha_{ir}$ 为向量组 $\alpha_1,\alpha_2,\cdots,\alpha_s$ 的一个极大线性无关组，简称极大无关组.

向量组的极大无关组所含向量个数称为向量组的秩，记为 $R(\alpha_1,\alpha_2,\cdots,\alpha_s)=r$

就是从原向量组中选出部分向量按条件组成新的向量组，这个向量组就是原向量组的一个极大无关组

例：设一个向量组 $\{\alpha, \beta, \gamma\}$ (都为非零向量)，考虑以下四种情况，求向量组的秩

1. 这三个向量不在一个平面
2. 这三个向量在一个平面上，但两两之间不共线
3. 这三个向量在一平面上，但 $\alpha,\beta$ 共线
4. 这三个向量共线

① 这三个向量不在一个平面上

易得：该向量组线性无关，且符合条件，其极大无关组为它本身 $\{\alpha,\beta,\gamma\}$，这个极大无关组中有 3 个向量

故：$R(\{\alpha, \beta, \gamma\}) = 3$

三个向量不在一个平面上，那这个向量组肯定是线性无关的，因为不可能通过两个向量等效另一个向量.

② 这三个向量在一个平面上，但两两之间不共线

易得：该向量组中任意两个向量组成的向量组线性无关，且符合条件，其中一个极大无关组为 $\{\alpha, \beta\}$

故：$R(\{\alpha, \beta, \gamma\}) = 2$

③ 这三个向量在一平面上，但 $\alpha,\beta$ 共线

易得：该向量组中向量 $\gamma$ 和向量 $\alpha,\beta$ 其中一个组成的向量组线性无关，且符合条件，其中一个极大无关组为 $\{\gamma, \alpha\}$

故：$R(\{\alpha,\beta,\gamma\}) = 2$

④ 这三个向量共线

易得：该向量组中任一向量组成的向量组线性无关，且符合条件，其中一个极大无关组为 $\{\alpha\}$

故：$R(\{\alpha, \beta, \gamma\}) = 1$

秩的几何解释

• 从上面例题中不难看出，向量组的秩表示的是这组向量所围成的空间的维度，我们称之为 子空间的维度
• 例题中的四种情况是在三维空间基础上的三个向量围成的一个子空间，维度分别为 $3, 2, 2, 1$
• 几何上可以理解为 $向量组的秩 = 子空间维度$

极大无关组的性质

性质1：

• $\{\alpha_1,\alpha_2,\cdots,\alpha_s\}$ 线性无关 $\leftrightarrow R(\{\alpha_1,\alpha_2,\cdots,\alpha_s\})=s$；
• $\{\alpha_1,\alpha_2,\cdots,\alpha_s\}$ 线性相关 $\leftrightarrow R(\{\alpha_1,\alpha_2,\cdots,\alpha_s\}) < s$

这条性质很容易就能理解，因为当向量组线性无关时，该向量组本身就是其极大无关组；反之当线性相关时，只能找该向量组的子向量组 (不包括本身) 作为极大无关组

性质2：若向量组 $\{ \beta_1,\cdots,\beta_k \}$ 可以由向量组 $\{ \alpha_1,\cdots,\alpha_s \}$ 线性表示，则 $R(\{ \beta_1,\cdots,\beta_k \}) \leq R(\{ \alpha_1,\cdots,\alpha_s \})$

反之不成立

性质3：若向量组 $\{ \beta_1,\cdots,\beta_t \}$ 可由 $\{ \alpha_1,\cdots,\alpha_s \}$ 线性表示，且 $t > s$，则 $\{\beta_1,\cdots,\beta_t\}$ 线性相关 (多的能由少的线性表示，则多的必定线性相关)

由性质2得：$R(\{\beta_1,\cdots,\beta_t\}) \leq R(\{ \alpha_1,\cdots,\alpha_s \})$

由性质1得：$R(\{ \alpha_1,\cdots,\alpha_s \}) \leq s$

则有：$R(\{\beta_1,\cdots,\beta_t\}) \leq s < t$

故：$\{\beta_1,\cdots,\beta_t\}$ 线性相关

性质4：对矩阵 $A$ 做初等行变换得到矩阵 $B$，则 $A$ 与 $B$ 的任何对应的列向量组都有相同的线性相关性，即 $A=[\alpha_1,\alpha_2,\cdots,\alpha_n] \stackrel {初等行变换}{\sim} [\xi_1,\xi_2,\cdots,\xi_n]=B$，则列向量组 $\{\alpha_1,\alpha_2,\cdots,\alpha_n\}$ 与 $\{ \xi_1,\xi_2,\cdots,\xi_n \}$ 有相同的线性相关性.

矩阵做初等行变换，矩阵的秩不变，也就是 $R(A)=R(B)$，矩阵的秩等于行向量组的秩也等于列向量组的秩，则对应列向量组的秩也不变

此外，线性方程组 $Ax=0$ 和 $Bx=0$ 等价，它们的解($x$)也相同，这个解 $x$ 就是我们上面说的系数，而线性方程组中的系数矩阵就是我们所说的列向量组，1也就是这两个向量组系数是一样的，也就保证了相同的线性相关性.

相同的线性相关性：例如有 $\alpha_1+\alpha_2-2\alpha_3=0$，那也有 $\xi_1+\xi_2-2\xi_3=0$

为什么只能做初等行变换：因为这里的向量组中的向量都为列向量，做初等行变换相当于对列向量组中的每个列向量内部做操作，若为初等列变换，则相当于把这些列向量自己的元素给打乱了。

为什么做初等行变换不影响线性相关性：矩阵的初等行变换对于列向量组中的每个列向量来说，只是在对该向量中的元素做这三种操作(初等变换的三种操作)，这三种操作当然不会影响其线性相关性，说白了要判断其线性相关还是无关，在保证系数不全为0的基础上能将向量组中的各个向量等效即可，对于向量角度上的初等变换中的这三种操作，矩阵在做每一次初等行变换，列向量组中每个列向量中相同位置的元素也会做同样的操作，最后变换后的列向量组中各个向量的关系当然也不会发生改变。

(这里可以自己随便找个案例尝试着推一遍，更好理解)

例：已知 $\alpha_1=\begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix}, \alpha_2=\begin{bmatrix} 0 \\ 2 \\ 5 \end{bmatrix}, \alpha_3=\begin{bmatrix} 2 \\ 4 \\ 7 \end{bmatrix}$，试讨论向量组 $\{ \alpha_1,\alpha_2,\alpha_3 \}$ 及向量组 $\{\alpha_1,\alpha_2\}$ 的线性相关性.

令矩阵 $A=[\alpha_1,\alpha_2,\alpha_3] = \begin{bmatrix} 1 & 0 & 2 \\ 1 & 2 & 4 \\ 1 & 5 & 7 \end{bmatrix} \stackrel {初等行变换}{\sim} \begin{bmatrix} 1 & 0 & 2 \\ 0 & 1 & 1 \\ 0 & 0 & 0 \end{bmatrix} = [\xi_1,\xi_2,\xi_3]$

初等行变换为行阶梯矩阵，行阶梯矩阵可以很好地看出线性相关性

观察易得：$\{\xi_1,\xi_2\}$ 线性无关，$\{ \xi_1,\xi_2,\xi_3 \}$ 线性相关

故：$\{\alpha_1,\alpha_2\}$ 线性无关，$\{ \alpha_1,\alpha_2,\alpha_3 \}$ 线性相关

找极大无关组或判断线性相关性的时候，对于化简后的列向量组，如果几个列向量的元素分布在不同位置，且除此位置外其它位置的元素为0，那就是线性无关，一般这种情况非常多。

例：设 $\alpha_1=\begin{bmatrix} 1 \\ -1 \\ 2 \\ 4 \end{bmatrix},\alpha_2=\begin{bmatrix} 0 \\ 3 \\ 1 \\ 2 \end{bmatrix},\alpha_3=\begin{bmatrix} 3 \\ 0 \\ 7 \\ 14 \end{bmatrix},\alpha_4=\begin{bmatrix} 1 \\ -2 \\ 2 \\ 0 \end{bmatrix}, \alpha_5=\begin{bmatrix} 2 \\ 1 \\ 5 \\ 10 \end{bmatrix}$，求向量组的一个极大线性无关组，并把其余向量用极大线性无关组线性表出.

令矩阵 $A=\begin{bmatrix} 1 & 0 & 3 & 1 & 2 \\ -1 & 3 & 0 & -2 & 1 \\ 2 & 1 & 7 & 2 & 5 \\ 4 & 2 & 14 & 0 & 10 \end{bmatrix} \stackrel {初等行变换}{\sim} \begin{bmatrix} 1 & 0 & 3 & 0 & 2 \\ 0 & 1 & 1 & 0 & 1 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 0 \end{bmatrix} = [\xi_1,\xi_2,\xi_3,\xi_4,\xi_5]$

观察易得：$\{\xi_1,\xi_2,\xi_4\}$ 为一个极大无关组，则 $\{\alpha_1,\alpha_2,\alpha_4\}$ 为一个极大无关组

把其余向量线性表出：

1. $\xi_3=3\xi_1+\xi_2 \rightarrow \alpha_3=3\alpha_1+\alpha_2$
2. $\xi_5=2\xi_1+\xi_2 \rightarrow \alpha_5=2\alpha_1+\alpha_2$

例：判定向量组 $\{\beta_1,\beta_2,\beta_3\}$ 的线性相关性，其中$\beta_1=[1,-1,1,-1]^T,\beta_2=[1,2,3,1]^T,\beta_3=[3,3,7,1]^T$

令矩阵 $A=[\beta_1,\beta_2,\beta_3]=\begin{bmatrix} 1 & 1 & 3 \\ -1 & 2 & 3 \\ 1 & 3 & 7 \\ -1 & 1 & 1 \end{bmatrix} \stackrel{初等行变换}{\sim}\begin{bmatrix} 1 & 1 & 3 \\ 0 & 3 & 4 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \end{bmatrix}$

易得$R(\{\beta_1,\beta_2,\beta_3\})=R(A)=2<3$

故 向量组 $\{\beta_1,\beta_2,\beta_3\}$ 线性相关

深入了解矩阵的秩

这里对之前的文章中矩阵的秩的讲解做补充

补充1：对于 $n$ 阶矩阵，可逆矩阵的秩等于矩阵的阶数，因此可逆矩阵又称满秩矩阵，不可逆矩阵(奇异矩阵)又称降秩矩阵

证：

已知由伴随矩阵公式 $AA^*=|A|E$ 我们可以推出 $A^{-1}=\frac {A^*}{|A|}$

因此 若矩阵 $A$ 可逆，$|A|\neq 0$

矩阵的秩的定义是：矩阵 $A$ 中非零子式的最高阶数称为矩阵 $A$ 的秩

矩阵 $A$ 的 $n$ 阶子式只有一个，就是 $|A|$，已知 $|A|\neq 0$，则 $R(A)=n$

同理，不可逆矩阵的秩一定是小于 $n$ 的，因为 不可逆矩阵对应的 $n$ 阶行列式的值一定为 0

可逆矩阵与不可逆矩阵：我们知道秩表示子空间维度，可逆矩阵意味着没有一行元素全为0，也就是它的线性变换是可逆的，对于不可逆矩阵，经过线性变换后有某行元素全为0，对应这一维度为0了，这种降维的过程是不可逆的，这个之后会专门讲解。

补充2：若 $AB=0$，则 $R(A)+R(B) \leq n$ 证明

证：

若 $AB=0$，则 $B$ 为 齐次方程组 $Ax=0$ 的解

已知该齐次方程组的线性无关解的个数为 $n-R(A)$

线性无关解指这几个向量不能被其它向量线性表出，这些向量的个数就是线性无关解的个数

也就是说，矩阵 $B$ 是由该齐次方程组的解(每个解就是一个向量)组成的，在矩阵 $B$ 中有 $n-R(A)$ 个向量无法被其它向量线性表出，这 $n-R(A)$ 个向量组成的向量组线性无关，这是找极大无关解的第一个条件，还有另一个条件：原向量组(矩阵 $B$ 中的所有解) 都能被这 $n-R(A)$ 个向量组成的向量组线性表出，第二个条件虽然已知这个向量组能成立，但是可能这个向量组的子集构成的向量组也能成立，但第一个条件已经确定了线性无关解的个数，也就能确定极大无关解中向量最多只能有 $n-R(A)$ 个，因此原向量组的秩 (矩阵 $B$ 的秩) 最大为 $n-R(A)$，即 $R(B) \leq n-R(A)$

为什么第二个条件能成立：因为不能被线性表示的只有这 $n-R(A)$ 个向量，其它向量都能被线性表示，能被线性表示的向量肯定是能被线性无关的向量的线性组合表示的。

你可能会觉得 (能被线性表示的这些向量) 也同样能被 (能被线性表示的这些向量) 表示，但是这就是个循环，循环的尽头就是这些线性无关的向量来表示这些 (能被线性表示的这些向量)

(这里我讲的优点晕，可以好好体会或者思考一下)

故：$R(A)+R(B) \leq n$

补充3：为什么基础解系有 $n-R(A)$ 个

理解了线性无关解之后，很容易可以想到，线性无关解有 $n-R(A)$ 个，再回看一下极大无关解的定义，我们已知这 $n-R(A)$ 个向量组成的向量组一定是该齐次方程组的所有解组成的向量组的极大无关解，自然而然，这 $n-R(A)$ 个线性无关解能表示其它所有的向量，也就是该齐次方程组所有的解，因此基础解系有 $n-R(A)$ 个

那为什么线性无关解有 $n-R(A)$ 个呢？

首先要知道的是这里的 $R(A)$ 指的是系数矩阵的秩，也就是在系数矩阵中的线性无关解的个数为 $R(A)$，若我们能求得这 $R(A)$ 个向量，则系数矩阵中的其它向量也可以由这几个向量线性表示；此外，一共有 $n$ 个未知数，在齐次方程组中我们通过变换系数矩阵得到一个共含有 $R(A)$ 个齐次方程的齐次方程组，$n$ 个未知数，却有 $R(A)$ 个方程，若我们已知 $n-R(A)$ 个未知数则我们可以用这 $n-R(A)$ 个未知数来通过该方程组表示这 $R(A)$ 个未知数，因此线性无关解、基础解系有 $n-R(A)$

注意：这里的线性无关姐和系数矩阵 $A$ 的线性无关解不同、

内积 / 正交性 / 线性空间

向量的内积和正交性

设向量 $x=\begin{bmatrix}x_1 \\ x_2 \\ \vdots \\ x_n\end{bmatrix}，y=\begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{bmatrix}$

• 向量 $x,y$的内积为：$(x,y)=\sum_{i=1}^nx_iy_i=x^Ty=y^Tx=||x||*||y||cos\theta$
• 向量 $x$ 的模为：$||x||=\sqrt {(x,x)}=\sqrt {\sum_{i=0}^nx_i^2}$
• 正交：当 $(x,y)=0$ 时，称向量 $x$ 和 $y$ 正交

$\theta$：向量 $x$ 和 $y$ 的夹角

向量的余弦相似度：余弦相似度用向量空间中两个向量夹角的余弦值作为衡量这两个向量间差异的大小。余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似；如上图所示，向量 $a$ 和 $b$ 的余弦值为（多维向量同理）：

施密特正交法

已知向量 $\alpha_1,\alpha_2$，这两个向量不正交，如何求 $\alpha_1$ 的一个正交向量？

• 公式：$\beta = \alpha_2 - \frac{(\alpha_1,\alpha_2)}{(\alpha_1,\alpha_1)}\alpha_1$，向量 $\beta$ 与向量 $\alpha_1$ 正交
• 推导：$\beta=\alpha_2-\frac{(\alpha_1,\alpha_2)}{(\alpha_1,\alpha_1)}\alpha_1 = \alpha_2 - \frac{||\alpha_1||*||\alpha_2||cos\theta}{||\alpha_1||*||\alpha_1||*1}\alpha_1 =\alpha_2 - ||\alpha_2 cos\theta|| \frac{\alpha_1}{||\alpha_1||}$ (如图)

例：已知 $\alpha_1\begin{bmatrix} 0 \\ 1 \\ 1 \end{bmatrix}，\alpha_2=\begin{bmatrix}1 \\ 0 \\ 1\end{bmatrix}，\alpha_3=\begin{bmatrix} 1 \\ 1 \\ 0 \end{bmatrix}$ 线性无关，用施密特正交法将其化为两两正交且规范的向量组.

令 $\beta_1 = \alpha_1$，则有：

• $\beta_2 = \alpha_2 - \frac {(\beta_1,\alpha_2)}{(\beta_1,\beta_1)}\beta_1$
• $\beta_3 = \alpha_3 - \frac {(\beta_1,\alpha_3)}{(\beta_1,\beta_1)}\beta_1 - \frac {(\beta_2,\beta_3)}{(\beta_2,\beta_2)}\beta_2$

代入得： $\beta_1=\begin{bmatrix} 0 \\ 1 \\ 1 \end{bmatrix},\beta_2=\begin{bmatrix} 1 \\ -\frac 1 2 \\ \frac 1 2 \end{bmatrix}，\beta_3=\begin{bmatrix} \frac 2 3 \\ \frac 2 3 \\ -\frac 2 3 \end{bmatrix}$

$\beta_3' = \alpha_3 - \frac {(\beta_1,\alpha_3)}{(\beta_1,\beta_1)}\beta_1 \quad (\beta_3' 与 \beta_1 垂直，但不一定与 \beta_2 垂直)$

• $\beta_3 = \beta_3' - \frac {(\beta_2,\beta_3')}{(\beta_2,\beta_2)}\beta_2 \quad (\beta_3与\beta_2和\beta_1都垂直)$

因为减去这两个方向上的投影，自然就和这两个向量正交了

化为规范的形式：单位向量 (大小为1)

• $\gamma_1 = \frac {\beta_1}{||\beta_1||}=\frac {1}{\sqrt 2}\begin{bmatrix} 0 \\ 1 \\ 1 \end{bmatrix}$

• $\gamma_2 = \frac {\beta_2}{||\beta_2||}=\frac {1}{\sqrt 6}\begin{bmatrix} 2 \\ -1 \\ 1 \end{bmatrix}$

• $\gamma_3 = \frac {\beta_3}{||\beta_3||}=\frac {1}{\sqrt 3}\begin{bmatrix} 1 \\ 1 \\ -1 \end{bmatrix}$

故结果为：$\{ \gamma_1,\gamma_2,\gamma_3 \}$

正交矩阵

定义：若 $n$ 阶矩阵 $A$ 满足 $AA^T=A^TA=E$，则称 $A$ 为 $n$ 阶正交矩阵

设矩阵 $A=[\alpha_1, \alpha_2, \cdots, \alpha_n] \quad (\alpha_i为向量)$

则 $A^TA=\begin{bmatrix} \alpha_1 \\ \alpha_2 \\ \vdots \\ \alpha_n \end{bmatrix}[\alpha_1, \alpha_2, \cdots, \alpha_n]=\begin{bmatrix}\alpha_1\alpha_1 & \alpha_1\alpha_2 & \cdots & \alpha_1\alpha_n \\ \alpha_2\alpha_1 & \alpha_2\alpha_2 & \cdots & \alpha_2\alpha_n \\ \vdots & \vdots & & \vdots \\ \alpha_n\alpha_1 & \alpha_n\alpha_2 & \cdots & \alpha_n\alpha_n \end{bmatrix}$

要满足 $A^TA=E$，则需满足 $(\alpha_i,\alpha_j)=\alpha_i^T\alpha_j=\begin{cases} 1 \quad (i==j) \\ 0 \quad (i\neq j) \end{cases}$

正交矩阵中每个向量和其本身内积为 1，和其它向量内积为 0，也就是说，每个向量和该矩阵中的其它向量都垂直

正交矩阵没有对其中每个向量的规范要求，但一般情况下需要保证该矩阵(向量组)中每个向量的模为1

性质1：若 $A$ 为正交矩阵，则 $A^{-1}$ 也是正交矩阵

已知 $AA^{-1}=A^{-1}A=E$，且 $AA^T=A^TA=E$

则 $A^{-1}=A^T$

故 $A^{-1} 也是正交矩阵$

性质2：若 $A$ 为正交矩阵，则 $|A|=\pm1$

已知 $A^TA=E \rightarrow |A^TA|=|E| \rightarrow |A^T||A|=|E|\rightarrow|A|^2=|E|$

故：$|A|=1$

性质3：若 $A,B$ 均为正交矩阵，则 $AB$ 也为正交矩阵

设矩阵 $A,B$ 均为正交矩阵，则有：

$(AB)(AB)^T=(AB)*(B^TA^T)=A(BB^T)A^T=(AA^T)E=AA^T=E$

即 $(AB)(AB)^T=E$

故 $AB$ 也为正交矩阵

定义：正交矩阵的线性变换(初等变换)称为正交变换

性质：设 $P$ 为正交矩阵，则 $B=PA$ 为正交变换，则有：

• $||B||=\sqrt {B^TB}=\sqrt{A^TP^TPA}=\sqrt{A^TA}=||A||$

保形性：几何上解释，正交变换其实就是旋转变换或镜像变换，形状当然不变

实施正交变换的矩阵就是正交矩阵

线性空间

定义：在线性空间 $V$ 中如果存在 $n$ 个向量 $\alpha_1,\alpha_2,\cdots,\alpha_n$，满足：

1. $\alpha_1,\alpha_2,\cdots,\alpha_n$ 线性无关
2. $V$ 中任一向量 $\alpha$ 可由 $\alpha_1,\alpha_2,\cdots,\alpha_n$ 线性表示

那么，$\alpha_1,\alpha_2,\cdots,\alpha_n$ 就称为线性空间 $V$ 中的一个基，$n$ 称为线性空间 $V$ 的维数. 只含一个零向量的维度空间没有基，规定它的维数为0.维数为 $n$ 的称为 $n$ 维线性空间，记作 $V_n$

例：三维空间中的一个基：$\begin{bmatrix}1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1\end{bmatrix}$

定义：设 $n$ 维向量 $e_1,e_2,\cdots,e_r$ 是向量空间 $V_n$ 中的一个基，若 $e_1,e_2,\cdots,e_r$ 两两正交且都是单位向量，则称 $e_1,e_2,\cdots,e_r$ 是 $V$ 中的一个标准正交基

例如上面的例子就是一个标准正交基，用标准正交基计算起来比较方便

定义：设 $\alpha_1,\alpha_2,\cdots,\alpha_n$ 是向量空间 $V_n$ 中的一个基，对于任一向量 $\alpha \in V_n$，总有且仅有一组有序数 $x_1,x_2,\cdots,x_n$ 使得 $\alpha=x_1\alpha_1+x_2\alpha_2+\cdots+x_n\alpha_n$，这组有序数就成为向量 $\alpha$ 在 $\alpha_1,\alpha_2,\cdots,\alpha_n$ 这个基中的坐标，并记作 $\alpha=[\alpha_1,\alpha_2,\cdots,\alpha_n]^T$.

其实我们平时用的就很多，我们画的二维、三维坐标轴其实就是用标准正交基来反映其它元素的位置的.

定义：设 $\alpha_1,\alpha_2,\cdots,\alpha_n$ 和 $\beta_1,\beta_2,\cdots,\beta_n$ 是线性空间 $V_n$ 中的两个基，

$(1)\begin{cases} \beta_1=P_{11}\alpha_1+P_{12}\alpha_2+\cdots+P_{1n}\alpha_n \\ \beta_2=P_{21}\alpha_1+P_{22}\alpha_2+\cdots+P_{2n}\alpha_n \\ \quad \quad \vdots \\ \beta_n=P_{n1}\alpha_1+P_{n2}\alpha_2+\cdots+P_{nn}\alpha_n \\ \end{cases}$

将 $\alpha_1,\alpha_2,\cdots,\alpha_n$ 这 $n$ 个有序向量记作 $[\alpha_1,\alpha_2,\cdots,\alpha_n]$，同理得到 $[\beta_1,\beta_2,\cdots,\beta_n]$，记 $n$ 阶矩阵 $P$，则上述方程组科表示为：$(2)[\beta_1,\beta_2,\cdots,\beta_n]=[\alpha_1,\alpha_2,\cdots,\alpha_n]P$

式 $(1)$ 或 式 $(2)$ 称为基变换公式，矩阵 $P$ 称为由基 $\alpha_1,\alpha_2,\cdots,\alpha_n$ 到基 $\beta_1,\beta_2,\cdots,\beta_n$ 的过度矩阵，由于 $\beta_1,\beta_2,\cdots,\beta_n$ 线性无关，故矩阵 $P$ 可逆.

同一个向量在相同的向量空间中不同的基表示的位置坐标是不同的，它们有一个对应关系，这个对应关系用过渡矩阵来表示.

$B=AP$，矩阵$B,A$ 都是由线性无关的向量构成的，所以都可逆，$P=A^{-1}B$，故 $P$ 可逆 (有限个可逆矩阵相乘得到的矩阵仍然可逆)

同一向量在不同基坐标下的向量元素值也是不同的，但元素向量和坐标向量的内积是相同的(向量大小/模)

例：设向量 $x$ 在旧基和新基的坐标分别为 $\begin{bmatrix} y_1 \\ y_2 \\ y_3 \end{bmatrix}, \begin{bmatrix} z_1 \\ z_2 \\ z_3 \end{bmatrix}$，则易得有：

$x=[a_1,a_2,a_3]\begin{bmatrix} y_1 \\ y_2 \\ y_3 \end{bmatrix}=[b_1,b_2,b_3]\begin{bmatrix} z_1 \\ z_2 \\ z_3 \end{bmatrix}\rightarrow A\begin{bmatrix} y_1 \\ y_2 \\ y_3 \end{bmatrix}=B\begin{bmatrix} z_1 \\ z_2 \\ z_3 \end{bmatrix} \rightarrow \begin{bmatrix} z_1 \\ z_2 \\ z_3 \end{bmatrix}=B^{-1}A\begin{bmatrix} y_1 \\ y_2 \\ y_3 \end{bmatrix}$

$P^{-1}=B^{-1}A$

$P$ 就是过渡矩阵，这就是旧坐标到新坐标的变换公式