阅读翻译Mathematics for Machine Learning之2.6 Generating Set and Basis

关于：

• 首次发表日期：2024-07-19
• Mathematics for Machine Learning官方链接： mml-book.com
• ChatGPT和KIMI机翻，人工润色
• 非数学专业，如有错误，请不吝指出

2.6.1 Basis and Rank (基与秩)

定义 2.13（生成集与张成）。考虑一个向量空间 $V=(\mathcal{V}, +, \cdot)$ 和一组向量 $\mathcal{A}=\left\{\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\right\} \subseteq \mathcal{V}$。如果 $\mathcal{V}$ 中的每一个向量 $\boldsymbol{v}$ 都可以表示为 $\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k$ 的线性组合，则称 $\mathcal{A}$ 为 $V$ 的一个生成集。向量 $\mathcal{A}$ 中所有向量的线性组合构成的集合称为 $\mathcal{A}$ 的张成。如果 $\mathcal{A}$ 张成了向量空间 $V$，我们写作 $V=\operatorname{span}[\mathcal{A}]$ 或 $V=\operatorname{span}\left[\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\right]$。

生成集是张成向量（子）空间的向量集合，即每一个向量都可以表示为生成集中向量的线性组合。现在，我们将更加具体地描述张成向量（子）空间的最小生成集。

定义 2.14（基）。考虑一个向量空间 $V=(\mathcal{V}, +, \cdot)$ 和 $\mathcal{A} \subseteq \mathcal{V}$。如果不存在比 $\mathcal{A}$ 更小的集合 $\tilde{\mathcal{A}} \subsetneq \mathcal{A} \subseteq \mathcal{V}$ 能张成 $V$，那么$V$ 的生成集 $\mathcal{A}$ 被称为最小生成集。$V$ 的每一个线性无关的生成集都是最小的，并且被称为 $V$ 的一个基。

设 $V=(\mathcal{V},+, \cdot)$ 是一个向量空间，$\mathcal{B} \subseteq \mathcal{V}, \mathcal{B} \neq \emptyset$。那么，以下陈述是等价的：

• $\mathcal{B}$ 是 $V$ 的一个基。
• $\mathcal{B}$ 是一个最小生成集。
• $\mathcal{B}$ 是 $V$ 中的最大线性无关向量集，即向这个集合中添加任何其他向量都会使其线性相关。
• 每一个向量 $\boldsymbol{x} \in V$ 都是来自 $\mathcal{B}$ 的向量的线性组合，并且每个线性组合都是唯一的，即：

且 $\lambda_i, \psi_i \in \mathbb{R}, \boldsymbol{b}_i \in \mathcal{B}$，这意味着 $\lambda_i=\psi_i, i=1, \ldots, k$。

基是一个最小的生成集和一个最大的线性无关向量集合。

---

**例2.16**

• 在 $\mathbb{R}^3$ 中，标准基是

• $\mathbb{R}^3$ 中不同的基是

• 集合

是线性无关的，但不是 $\mathbb{R}^4$ 的生成集（也不是基）：例如，向量 $[1,0,0,0]^{\top}$ 不能通过 $\mathcal{A}$ 中元素的线性组合得到。

---

注释 每个向量空间 $V$ 都有一个基 $\mathcal{B}$。前面的例子表明，一个向量空间 $V$ 可以有许多不同的基，即没有唯一的基。然而，所有的基都具有相同数量的元素，即基向量。

我们只考虑有限维向量空间 $V$。在这种情况下，$V$ 的维数是其基向量的数量，记作 $\operatorname{dim}(V)$。如果 $U \subseteq V$ 是 $V$ 的子空间，则 $\operatorname{dim}(U) \leqslant \operatorname{dim}(V)$，且当且仅当 $U=V$时 $\operatorname{dim}(U) = \operatorname{dim}(V)$ 。直观地说，向量空间的维数可以理解为这个空间中独立方向的数量。

注释 向量空间的维数不一定是向量中元素的数量。例如，向量空间 $V=\operatorname{span}[\left[\begin{array}{l}0 \\ 1\end{array}\right]]$ 是一维的，尽管基向量具有两个元素。

向量空间的维数对应于其基向量的数量。

注释 子空间 $U=\operatorname{span}\left[\boldsymbol{x}_1, \ldots, \boldsymbol{x}_m\right] \subseteq \mathbb{R}^n$ 的一个基可以通过以下步骤找到：

1. 将张成向量写成矩阵 $\boldsymbol{A}$ 的列。
2. 求解矩阵 $\boldsymbol{A}$ 的行阶梯形式。
3. 与枢轴列相关联的张成向量构成 $U$ 的一个基。

2.6.2 Rank（秩）

一个矩阵 $\boldsymbol{A} \in \mathbb{R}^{m \times n}$ 的线性无关列的数量等于线性无关行的数量，并且被称为 $\boldsymbol{A}$ 的秩，表示为 $\operatorname{rk}(\boldsymbol{A})$。

注释。矩阵的秩具有一些重要性质：

• $\operatorname{rk}(\boldsymbol{A})=\operatorname{rk}\left(\boldsymbol{A}^{\top}\right)$，即，列秩等于行秩。
• $\boldsymbol{A} \in \mathbb{R}^{m \times n}$ 的列张成一个子空间 $U \subseteq \mathbb{R}^m$，其维数为 $\operatorname{dim}(U)=\operatorname{rk}(\boldsymbol{A})$。稍后我们将这个子空间称为像或值域。通过应用高斯消元法到 $\boldsymbol{A}$ 可以找到 $U$ 的一个基，以识别枢轴列。
• $\boldsymbol{A} \in \mathbb{R}^{m \times n}$ 的行张成一个子空间 $W \subseteq \mathbb{R}^n$，其维数为 $\operatorname{dim}(W)=\operatorname{rk}(\boldsymbol{A})$。通过应用高斯消元法到 $\boldsymbol{A}^{\top}$ 可以找到 $W$ 的一个基。
• 对于所有的 $\boldsymbol{A} \in \mathbb{R}^{n \times n}$，如果且仅如果 $\operatorname{rk}(\boldsymbol{A})=n$，$\boldsymbol{A}$ 是正则的（可逆的）。
• 对于所有的 $\boldsymbol{A} \in \mathbb{R}^{m \times n}$ 和所有的 $\boldsymbol{b} \in \mathbb{R}^m$，线性方程组 $\boldsymbol{A} \boldsymbol{x}=\boldsymbol{b}$ 可以求解当且仅当 $\operatorname{rk}(\boldsymbol{A})=\operatorname{rk}(\boldsymbol{A} \mid \boldsymbol{b})$，其中 $\boldsymbol{A} \mid \boldsymbol{b}$ 表示增广系统。
• 对于 $\boldsymbol{A} \in \mathbb{R}^{m \times n}$，$\boldsymbol{A x}=\mathbf{0}$ 的解空间具有维数 $n-\operatorname{rk}(\boldsymbol{A})$。稍后，我们将这个子空间称为核或零空间。
• 如果矩阵 $\boldsymbol{A} \in \mathbb{R}^{m \times n}$ 的秩等于相同维度矩阵的最大可能秩，则称其具有满秩。这意味着满秩矩阵的秩是行数和列数中的较小者，即 $\operatorname{rk}(\boldsymbol{A})=\min (m, n)$。如果矩阵没有满秩，则称其为秩亏损的。

---

例子2.18（秩）

• $\boldsymbol{A}=\left[\begin{array}{lll}1 & 0 & 1 \\ 0 & 1 & 1 \\ 0 & 0 & 0\end{array}\right]$

矩阵 $\boldsymbol{A}$ 有两行/列是线性无关的，因此 $\operatorname{rk}(\boldsymbol{A})=2$。

• $\boldsymbol{A}=\left[\begin{array}{ccc}1 & 2 & 1 \\ -2 & -3 & 1 \\ 3 & 5 & 0\end{array}\right]$。

我们使用高斯消元法来确定秩：

在这里，我们看到线性无关的行和列的数量是 2，因此 $\operatorname{rk}(\boldsymbol{A})=2$。

---