【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（2）：线性空间定义及其性质

海轰Pro
242 阅读3分钟

「这是我参与2022首次更文挑战的第26天，活动详情查看：2022首次更文挑战」。

@TOC

在这里插入图片描述

前言

Hello！小伙伴！ 非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～   自我介绍 ଘ(੭ˊᵕˋ)੭ 昵称：海轰 标签：程序猿｜C++选手｜学生 简介：因C语言结识编程，随后转入计算机专业，有幸拿过一些国奖、省奖...已保研。目前正在学习C++/Linux/Python 学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！   机器学习小白阶段 文章仅作为自己的学习笔记 用于知识体系建立以及复习 知其然 知其所以然！

往期文章

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（1）：集合与映射

1.2 线性空间定义及其性质

定义1.1：线性空间（向量空间）

设KK是一个数域，VV是一个非空集合，如果V满足以下三个条件：

（1）在VV中定义了一个加法运算，即给定一个法则，对任意的α∈V,β∈V\alpha \in V,\beta \in V，通过这个法则，都有惟一确定的V中元素γ\gamma与α\alpha和β\beta对应，元素γ\gamma叫做α\alpha与β\beta的和，记为γ=α⊕β\gamma=\alpha \oplus \beta（即σ:V×V→V是映射\sigma:V×V\rightarrow V是映射）

V×V={(αβ)｜α,β∈V}V×V=\{(\alpha\beta)｜\alpha,\beta\in V\}

(αβ)→σ(αβ)=γ(\alpha\beta)\rightarrow\sigma(\alpha\beta)=\gamma

σ:V×V→V\sigma:V×V\rightarrow V中的××不是指传统意义上的乘法，而是指某一给定的法则

（2）在V中定义了一个数乘运算，即给定一个法则，对任意的k∈Kk \in K，任意的α∈V\alpha\in V，通过此法则，都有惟一的V中元素δ\delta与k和α\alpha对应，元素δ\delta叫做k与α\alpha的数乘，记为δ=k⊙α\delta=k\odot\alpha（即τ:V×V→V\tau:V×V\rightarrow V是映射）

(kα)→τ(kα)=δ=k⊙α(k\alpha)\rightarrow \tau(k\alpha)=\delta=k\odot\alpha

τ:V×V→V\tau:V×V\rightarrow V中的××不是指传统意义上的乘法，也是指某一给定的法则

（3）加法和数乘满足以下8条性质

  • 交换律：α⊕β=β⊕α\alpha\oplus\beta=\beta\oplus\alpha
  • 结合律：(α⊕β)⊕γ=α⊕(β⊕γ)(\alpha\oplus\beta)\oplus\gamma=\alpha\oplus(\beta\oplus\gamma)
  • 存在零元素0\boldsymbol0 使α⊕0=α（零元素并不一定是0，这里仅是表示，具体应该看运算法则是如何定义的）\alpha\oplus\boldsymbol0=\alpha（零元素并不一定是\boldsymbol0，这里仅是表示，具体应该看运算法则是如何定义的）
  • 存在负元素，即对任一元素α\alpha存在元素β\beta 使α⊕β=0\alpha\oplus\beta=\boldsymbol0，β\beta叫α\alpha的负元（这里的0\boldsymbol0指的是零元）
  • 分配律：k⊙(α⊕β)=k⊙α⊕k⊙βk\odot(\alpha\oplus\beta)=k\odot\alpha\oplus k\odot\beta
  • 分配律：(k+l)⊙α=k⊙α⊕l⊙α（注意这里+变成了⊕）(k+l)\odot\alpha=k\odot\alpha\oplus l\odot\alpha（注意这里+变成了\oplus）
  • k⊙(l⊙α)=(kl)⊙α（k与l之间变成了传统的数乘运算）k\odot(l\odot\alpha)=(kl)\odot\alpha（k与l之间变成了传统的数乘运算）
  • 1⊙α=α（这里的1是数域K上的1）1\odot\alpha=\alpha（这里的1是数域K上的1）

其中，α,β,γ∈V，k,l∈K\alpha,\beta,\gamma\in V，k,l\in K，称VV为数域KK上的线性空间，也叫向量空间，α,β,γ\alpha,\beta,\gamma称为向量

VV中定义的加法和数乘运算统称为VV的线性运算

特别需要注意零元和负元：

  • 零元：与任意一个元素进行⊕\oplus运算后，结果依然是这个元素
  • 负元：与任意一个元素进行⊕\oplus运算后，得到结果是一个零元
  • 零元、负元∈V零元、负元\in V

若无特殊说明，加法运算和数乘运算就是传统的加法运算和数乘运算

例 - 1

K1×n={(a1,a2,...,an)｜ai∈K}K^{1×n} = \{ (a_1,a_2,...,a_n) ｜a_i \in K \}关于向量的加法与数乘作成数域KK上的线性空间

解答：

∀α,β∈Kn{\forall} \alpha, \beta \in K^n

有：α+β∈Kn\alpha + \beta \in K^n

∀α∈Kn,k∈K{\forall} \alpha \in K^n , k \in K

有：kα∈Knk \alpha \in K^n

例 - 2 Km×n={A=[a11...a1n......am1...ann]｜aij∈K}K^{m × n} = \{ A = \begin{bmatrix} a_{11} & ... & a_{1n}\\ . & &. \\ . & &. \\ . & &. \\ a_{m1} & ... & a_{nn} \end{bmatrix} ｜a_{ij} \in K \}

解答：

∀α,β∈Km×n{\forall} \alpha , \beta \in K^{m × n}

有：α+β∈Km×n\alpha + \beta \in K^{m×n}

∀α∈Km×n,∀k∈K{\forall} \alpha \in K^{m×n}, {\forall} k \in K

有：kα∈Km×nk\alpha \in K^{m×n}

例 - 3

K[x]n={数域K上次数不超过n的多项式全体，零多项式}K[x]_n= \{ 数域K上次数不超过n的多项式全体，零多项式\}关于多项式的加法及数乘做成数域KK上的线性空间

解答：

∀α,β∈K[x]n{\forall}\alpha,\beta\in K[x]_n

有：α+β∈K[x]n\alpha + \beta \in K[x]_n

∀k∈K,α∈K[x]n{\forall}k\in K,\alpha\in K[x]_n

有：kα∈K[x]nk\alpha\in K[x]_n

例 - 4 设R+R_{+}表示所有正实数集合，其加法和数乘各定义为

α⊕β=αβ,k⊙α=αk\alpha \oplus \beta = \alpha\beta,k \odot \alpha = \alpha^{k}

试证明R+R_{+}是RR上的线性空间

证明

证加法运算封闭性：

设α,β∈R+\alpha,\beta\in R_{+}

α⊕β=αβ∈R+\alpha\oplus\beta=\alpha\beta\in R_{+}

证数乘运算封闭性：

设k∈R,α∈R+k\in R,\alpha\in R_{+}

k⊙α=αk∈R+k\odot\alpha=\alpha^{k}\in R_{+}

8条法则重点关注零元、负元：

  • 这里的零元是1（α⊕1=α1=α\alpha \oplus 1=\alpha1=\alpha）
  • 负元是1α\frac{1}{\alpha}（α⊕1α=α1α=1=零元\alpha\oplus\frac{1}{\alpha}=\alpha\frac{1}{\alpha}=1=零元）

定理 1.2.1：零元与负元

（1）线性空间VV中的零元素 0 唯一，记为0 （2）任意元素α\alpha的负元素唯一，记为−α- \alpha

证明（1）：

假设 01,02\boldsymbol0_1,\boldsymbol0_2为线性空间的零元素，那么

\boldsymbol0_1 \oplus \boldsymbol0_2 = \boldsymbol0_2 \quad (将0_1视为0元素，任何一个元素\oplus零元素得到它本身)\\ \boldsymbol0_1 \oplus \boldsymbol0_2 = \boldsymbol0_1 \quad (将0_2视为0元素) \end{cases}$$ 所以，有 $$\boldsymbol0_1 \oplus \boldsymbol0_2 = \boldsymbol0_1 = \boldsymbol0_2$$ 推出 $$\boldsymbol0_1 = \boldsymbol0_2$$ 说明零元是唯一的！ **证明（2）：** 假设$\beta_1,\beta_2$ 都是$\alpha$的负元，那么有 $$\begin{cases} \alpha \oplus \beta_1 = \boldsymbol0\\ \alpha \oplus \beta_2 = \boldsymbol0 \end{cases}$$ 利用零元的性质，有 $$\beta_1 =\beta_1 \oplus \boldsymbol0$$ 又因为$\boldsymbol0 = \alpha \oplus \beta_2$，所以 $$\beta_1 =\beta_1 \oplus \boldsymbol0 = \beta_1 \oplus ( \alpha \oplus \beta_2)=(\beta_1 \oplus \alpha) \oplus \beta_2 =\boldsymbol0 \oplus \beta_2=\beta_2$$ 得到 $$\beta_1 = \beta_2$$ 说明负元是唯一的！ **注意：** > 证明一个元素的唯一性，那么我们就假设同时存在两个这样的元素 > 然后证明这两个元素相同，也就说明这个元素是唯一的 ### 命题1 （1）$k \odot \boldsymbol0 = \boldsymbol0$ （2）$0 \odot \alpha = \boldsymbol0$ （3）$(-1) \odot \alpha = -\alpha$ **证明（1）：**$k \odot \boldsymbol0 = \boldsymbol0$ > $\quad(k \odot \beta) \oplus (k \odot \boldsymbol0 ) \\ > = k \odot (\beta + \boldsymbol0)\\ > =k \odot \beta$ >   > 由$(k \odot \beta) \oplus (k \odot 0 ) =(k \odot > \beta)$可得（依据零元的性质） > $k \odot \boldsymbol0 = \boldsymbol0$ **证明（2）：**$0 \odot \alpha = \boldsymbol0$ > $\quad(k \odot \alpha) \oplus (0 \odot \alpha ) \\ > = (k \oplus 0) \odot \alpha\\ > =k \odot \alpha$ >   > 由$k \odot \alpha) \oplus (0 \odot \alpha ) > =k \odot \alpha$可得 > $0 \odot \alpha = \boldsymbol0$ **证明（3）：**$(-1) \odot \alpha = -\alpha$ > $(1 \odot \alpha) \oplus (-1\odot \alpha)\\ > =(1 \oplus -1) \odot \alpha\\ > =0 \odot \alpha\\ > = \boldsymbol0$ ### 命题2 若$k \odot \alpha = \boldsymbol0$，则必有$k = 0$ 或 $\alpha = \boldsymbol0$ **证明：** 当$k = 0$时， $k \odot \alpha = \boldsymbol0$ 一定成立 当$k != 0$时，有 $$\frac{1}{k} \odot(k \odot \alpha) = \frac{1}{k} \odot \boldsymbol0 = \boldsymbol0$$ 同时也有 $$\frac{1}{k} \odot(k \odot \alpha) =(\frac{1}{k} \odot k)\odot \alpha=\alpha$$ 结合$\frac{1}{k} \odot(k \odot \alpha) = \boldsymbol0$ 可以得到 $$\alpha = \boldsymbol0$$ 证明完成！ ### 补充法则 - $-(-\alpha)=\alpha$ - $-(\alpha\oplus\beta)=(-\alpha)\oplus(-\beta)$ - $(-k)\odot\alpha=-k\odot\alpha$ - $(-k)\odot(-\alpha)=k\odot\alpha$ # 结语 说明： - 参考于 课本《矩阵理论》 - 配合书中概念讲解 结合了自己的一些理解及思考 文章仅作为学习笔记，记录从0到1的一个过程 希望对您有一点点帮助，如有错误欢迎小伙伴指正 ![在这里插入图片描述](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/e54d3c4ccd9b4dee91f59925e495d593~tplv-k3u1fbpfcp-zoom-1.image)
avatar
文章
阅读
粉丝