【机器学习|数学基础】Mathematics for Machine Learning系列之矩阵理论(5):线性子空间

245 阅读3分钟

「这是我参与2022首次更文挑战的第23天,活动详情查看:2022首次更文挑战」。

@TOC

在这里插入图片描述

前言

Hello!小伙伴! 非常感谢您阅读海轰的文章,倘若文中有错误的地方,欢迎您指出~   自我介绍 ଘ(੭ˊᵕˋ)੭ 昵称:海轰 标签:程序猿|C++选手|学生 简介:因C语言结识编程,随后转入计算机专业,有幸拿过一些国奖、省奖...已保研。目前正在学习C++/Linux/Python 学习经验:扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语!   机器学习小白阶段 文章仅作为自己的学习笔记 用于知识体系建立以及复习 知其然 知其所以然!

往期文章

【机器学习|数学基础】Mathematics for Machine Learning系列之矩阵理论(1):集合与映射

【机器学习|数学基础】Mathematics for Machine Learning系列之矩阵理论(2):线性空间定义及其性质

【机器学习|数学基础】Mathematics for Machine Learning系列之矩阵理论(3):线性空间的基与坐标

【机器学习|数学基础】Mathematics for Machine Learning系列之矩阵理论(4):基变换与坐标变换

1.5 线性子空间

1.5.1 线性子空间

定义1.5

VV是数域KK上一个线性空间,WWVV的一个非空子集

WW关于VV的两种运算也做成一个KK上的线性空间,称WWVV的一个线性子空间

VV{0}VV\subseteq V、\{0\}\subseteq VV,{0}V,\{0\}都是VV的线性子空间,称为平凡子空间

定理1.5.1

VV是数域KK上一个线性空间,WWVV的一个非空子集,且对VV已有的线性运算满足以下条件:

  • α,βW\alpha,\beta\in W,则α+βW\alpha + \beta\in W
  • αW,kK\alpha\in W,k\in K,则kαWk\alpha\in W

WW必定是VV的线性子空间,反之亦然

若需要判断VV的一个非空子集WW是否构成一个线性子空间,只需要看WW是否对VV上的线性运算封闭


零子空间不含线性无关的向量,因此没有基,规定其维数为零

任何一个线性子空间WW的维数不能大于整个线性空间VV的维数,即dimWdimVdimW \leq dimV

例 - 1

nn元齐次线性方程组{a11x1+...+a1nxn=0......am1x1+...+amnxn=0\begin{cases} a_{11}x_1+...+a_{1n}x_n=0\\ ......\\ a_{m1}x_1+...+a_{mn}x_n=0\\ \end{cases}的全部解,就构成RnR^{n}的一个线性子空间(称为解空间)

解答

nn元齐次线性方程组可以简写为Ax=0Ax=0,设其解空间为SS

证加法封闭性:

x1,x2Sx_1,x_2\in S,有Ax1=0,Ax2=0Ax_1=0,Ax_2=0

A(x1+x2)=Ax1+Ax2=0+0=0A(x_1+x_2)=Ax_1+Ax_2=0+0=0

所以(x1+x2)S(x_1+x_2)\in S

证数乘封闭性:

kK,xSk\in K,x\in S,有Ax=0Ax=0

A(kx)=k(Ax)=k0=0A(kx)=k(Ax)=k0=0

所以(kx)S(kx)\in S

综上,SSRnR^{n}的一个线性子空间

1.5.2 线性子空间的生成问题

α1,α2,...,αr\alpha_1,\alpha_2,...,\alpha_r是数域KK上的线性空间VV的一组向量,其所有可能的线性组合的集合

V1={k1α1+k2α2+...+krαrkiK}V_1=\{k_1\alpha_1+k_2\alpha_2+...+k_r\alpha_r|k_i \in K\}

非空的,那么V1V_1就是VV的一个线性子空间,称为由α1,α2,...,αn\alpha_1,\alpha_2,...,\alpha_n生成(或张成)的子空间,记为

L(\alpha_1,\alpha_2,...,\alpha_r)=\{k_1\alpha_1+k_2\alpha_2+...+k_r\alpha_r|k_i \in K\}\tag{1}

反之,在有限线性空间VV中,其任意一个线性子空间WW都可以写为(1)式


如果α1,α2,...,αr\alpha_1,\alpha_2,...,\alpha_rWW的一个基,那么

W={k1α1+k2α2+...+krαrkiK}=L(α1,α2,...,αn)W=\{k_1\alpha_1+k_2\alpha_2+...+k_r\alpha_r|k_i \in K\}=L(\alpha_1,\alpha_2,...,\alpha_n)

说明WWrr维子空间

零子空间:由零元素生成的子空间L(0)L(0)

定义1.6

A=(aij)m×nRm×nA=(a_{ij})_{m×n}\in R^{m×n},以αi(i=1,2,...,n)\alpha_i(i=1,2,...,n)表示AA的第ii个列向量,称子空间L(α1,...,αn)L(\alpha_1,...,\alpha_n)为矩阵的值域(列空间),记为

R(A)=L(α1,...,αn)R(A)=L(\alpha_1,...,\alpha_n)

简单的理解:给定一个矩阵AA,其中A=(α1,...,αn)A=(\alpha_1,...,\alpha_n) 那么子空间L(α1,...,αn)=k1α1+...+knαnL(\alpha_1,...,\alpha_n)=k_1\alpha_1+...+k_n\alpha_n就是AA的值域


R(A)RmR(A) \subseteq R^{m}

R(A)=L(α1,...,αn)=k1α1+...+knαnR(A)=L(\alpha_1,...,\alpha_n)=k_1\alpha_1+...+k_n\alpha_n,最后结果为一个m行1列矩阵,所以R(A)RmR(A) \subseteq R^{m}

rank(A)=dimR(A)rank(A)=dimR(A)

rank(A)rank(A)表示AA的秩,也可以记为r(A)r(A)

同理,ATA^{T}的值域

R(AT)RnR(A^{T})\subseteq R^{n}

dimR(A)=dimR(AT)=r(A)dimR(A)=dimR(A^T)=r(A)

定义1.7

A=(aij)m×nRm×nA=(a_{ij})_{m×n}\in R^{m×n},称集合{χAχ=0,χRn}\{\chi|A\chi=0,\chi\in R^{n}\}AA的核空间(或核、零空间),记为N(A)N(A),即

N(A)={χAχ=0,χRn}N(A)=\{\chi|A\chi=0,\chi \in R^{n}\}

N(A)N(A)是齐次线性方程组Aχ=0A\chi=0的解空间,也是RnR^{n}的一个子空间

AA的核空间的维数成为AA的零度,记为n(A)n(A),即

n(A)=dimN(A)=nr(A)n(A)=dimN(A)=n-r(A)


一般来说,设A=(aij)m×nA=(a_{ij})_{m×n},则有

  • rank(A)+n(A)=nrank(A) + n(A)=n
  • n(A)n(AT)=nmn(A)-n(A^T)=n-m

n(A)=nr(A)n(A)=n-r(A) n(AT)=mr(AT)n(A^{T})=m-r(A^T)r(A)=r(AT)r(A)=r(A^{T}) 所以:n(A)n(AT)=(nr(A))(mr(AT))=nmn(A)-n(A^T)=(n-r(A))-(m-r(A^T))=n-m

定理1.5.2

V1V_1是数域KKnn维线性空间VV的一个mm维子空间,α1,...,αm\alpha_1,...,\alpha_mV1V_1的一个基,则这个基必可扩充为VV的一个基

换言之,在VV中必定可以找到nmn-m个向量αm+1,...,αn\alpha_{m+1},...,\alpha_n使得α1,...,αm,...,αn\alpha_1,...,\alpha_m,...,\alpha_nVV的一个基

结语

说明:

  • 参考于 课本《矩阵理论》
  • 配合书中概念讲解 结合了自己的一些理解及思考

文章仅作为学习笔记,记录从0到1的一个过程

希望对您有一点点帮助,如有错误欢迎小伙伴指正

在这里插入图片描述