阅读翻译Mathematics for Machine Learning之2.5 Linear Independence

关于：

首次发表日期：2024-07-18
Mathematics for Machine Learning官方链接： mml-book.com
ChatGPT和KIMI机翻，人工润色
非数学专业，如有错误，请不吝指出

2.5 线性无关（ Linear Independence）

接下来，我们将仔细看看如何操作向量（向量空间的元素）。特别是，我们可以将向量相加并用标量相乘。闭合性（closure property）保证了我们最终得到的还是同一向量空间中的另一个向量。我们可以找到一组（set）向量，通过相加和缩放这些向量，我们可以表示向量空间中的每一个向量。这组向量称为基（base），我们将在第2.6.1节讨论它们。在此之前，我们需要介绍线性组合和线性无关的概念。

定义 2.11（线性组合）。考虑一个向量空间 $V$ 和有限数量的向量 $\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k \in V$ 。那么，每一个 $\boldsymbol{v} \in V$ 形式如下的向量

\boldsymbol{v}=\lambda_1 \boldsymbol{x}_1+\cdots+\lambda_k \boldsymbol{x}_k=\sum_{i=1}^k \lambda_i \boldsymbol{x}_i \in V \tag{2.65}

其中 $\lambda_1, \ldots, \lambda_k \in \mathbb{R}$ 是向量 $\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k$ 的线性组合。

零向量 $\mathbf{0}$ 总是可以写成 $k$ 个向量 $\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k$ 的线性组合，因为 $\mathbf{0}=\sum_{i=1}^k 0 \boldsymbol{x}_i$ 总是成立的。接下来，我们对一组向量的非平凡（non-trivial）线性组合表示 $\mathbf{0}$ 感兴趣，即向量 $\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k$ 的线性组合，其中不是所有系数 $\lambda_i$ 在 (2.65) 中都为 0。

定义 2.12（线性（不）相关性）。让我们考虑一个向量空间 $V$ 以及 $k \in \mathbb{N}$ 和 $\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k \in V$ 。如果存在一个非平凡的线性组合，使得 $\mathbf{0}=\sum_{i=1}^k \lambda_i \boldsymbol{x}_i$ 且至少有一个 $\lambda_i \neq 0$ ，则向量 $\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k$ 是线性相关的。如果只存在零解，即 $\lambda_1=\ldots=\lambda_k=0$ ，则向量 $\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k$ 是线性无关的。

线性无关是线性代数中最重要的概念之一。直观上，一组线性无关的向量由没有冗余的向量组成，即，如果我们从集合中移除任何一个向量，我们将失去一些东西。在接下来的章节中，我们将更正式地讨论这一直觉。

注释以下性质对于判断向量是否线性无关是有用的：

$k$ 个向量要么线性相关，要么线性无关，没有第三种可能。
如果向量 $\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k$ 中至少有一个是零向量 $\mathbf{0}$ ，那么它们是线性相关的。如果有两个向量相同，也成立。
向量 $\left\{\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k : \boldsymbol{x}_i \neq \mathbf{0}, i=1, \ldots, k\right\}, k \geqslant 2$ 是线性相关的，当且仅当（至少）其中一个是其他向量的线性组合。特别地，如果一个向量是另一个向量的倍数，即 $\boldsymbol{x}_i=\lambda \boldsymbol{x}_j, \lambda \in \mathbb{R}$ ，那么集合 $\left\{\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k : \boldsymbol{x}_i \neq \mathbf{0}, i=1, \ldots, k\right\}$ 是线性相关的。
检查向量 $\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k \in V$ 是否线性无关的一种实用方法是使用高斯消元法：将所有向量作为矩阵 $\boldsymbol{A}$ 的列，并进行高斯消元，直到矩阵处于行阶梯形态（这里不需要行简化阶梯形态（reduced row-echelon form））：
- 枢轴列（pivot columns）表示与其左边的向量线性无关的向量。注意，在构建矩阵时向量是有顺序的。
- 非枢轴列可以表示为左边枢轴列的线性组合。例如，行阶梯形态
$\left[\begin{array}{lll} 1 & 3 & 0 \\ 0 & 0 & 2 \end{array}\right]$

告诉我们第一列和第三列是枢轴列。第二列是非枢轴列，因为它是第一列的三倍。

所有列向量是线性无关的当且仅当所有列都是枢轴列。如果至少有一个非枢轴列，则这些列（因此，相应的向量）是线性相关的。

注释考虑一个向量空间 $V$ ，其中有 $k$ 个线性无关的向量 $\boldsymbol{b}_1, \ldots, \boldsymbol{b}_k$ 和 $m$ 个线性组合

\begin{gathered} \boldsymbol{x}_1=\sum_{i=1}^k \lambda_{i1} \boldsymbol{b}_i, \\ \vdots \\ \boldsymbol{x}_m=\sum_{i=1}^k \lambda_{im} \boldsymbol{b}_i . \end{gathered} \tag{2.7.0}

定义 $\boldsymbol{B}=\left[\boldsymbol{b}_1, \ldots, \boldsymbol{b}_k\right]$ 为一个矩阵，其列是线性无关的向量 $\boldsymbol{b}_1, \ldots, \boldsymbol{b}_k$ ，我们可以更紧凑地写成

\begin{gathered} \boldsymbol{x}_j=\boldsymbol{B} \boldsymbol{\lambda}_j, \quad \boldsymbol{\lambda}_j=\left[\begin{array}{c} \lambda_{1j} \\ \vdots \\ \lambda_{kj} \end{array}\right], \quad j=1, \ldots, m,\\ \end{gathered} \tag{2.7.1}

我们想要检验 $\boldsymbol{x}_1, \ldots, \boldsymbol{x}_m$ 是否线性无关。为此，我们遵循检验 $\sum_{j=1}^m \psi_j \boldsymbol{x}_j=\mathbf{0}$ 的一般方法。通过 (2.71)，我们得到

\sum_{j=1}^m \psi_j \boldsymbol{x}_j=\sum_{j=1}^m \psi_j \boldsymbol{B} \boldsymbol{\lambda}_j=\boldsymbol{B} \sum_{j=1}^m \psi_j \boldsymbol{\lambda}_j . \tag{2.7.2}

这意味着当且仅当列向量 $\left\{\boldsymbol{\lambda}_1, \ldots, \boldsymbol{\lambda}_m\right\}$ 是线性无关的， $\left\{\boldsymbol{x}_1, \ldots, \boldsymbol{x}_m\right\}$ 是线性无关的。

注释：在一个向量空间 $V$ 中， $m$ 个由 $k$ 个向量 $\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k$ 线性组合而成的向量是线性相关的，如果 $m>k$ 。