【机器学习|数学基础】Mathematics for Machine Learning系列之线性代数(14):向量空间

137 阅读4分钟

小知识,大挑战!本文正在参与“程序员必备小知识”创作活动。

前言

Hello!小伙伴!

非常感谢您阅读海轰的文章,倘若文中有错误的地方,欢迎您指出~

 

自我介绍 ଘ(੭ˊᵕˋ)੭

昵称:海轰

标签:程序猿|C++选手|学生

简介:因C语言结识编程,随后转入计算机专业,有幸拿过一些国奖、省奖...已保研。目前正在学习C++/Linux/Python

学习经验:扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语!

 

机器学习小白阶段

文章仅作为自己的学习笔记 用于知识体系建立以及复习

知其然 知其所以然!

若查看数学公式不全或显示错误

可以查看:MML学习笔记(十四):向量空间

4.5 向量空间

定义6

VVnn维向量的集合,如果集合VV非空,且集合VV对于向量的加法和乘法两种运算封闭,那么就称集合VV为向量空间

加法封闭:

aV,bVa \in V, b \in V,则a+bVa+b \in V

乘法封闭:

aV,λRa \in V,\lambda \in R,则λaV\lambda a \in V

定义7

VV为向量空间,如果rr个向量a1,a2,...,arVa_1,a_2,...,a_r \in V,且满足

  • a1,a2,...,ara_1,a_2,...,a_r线性无关
  • VV中任一向量都可由a1,a2,...,ara_1,a_2,...,a_r线性表示

那么向量组a1,a2,...,ara_1,a_2,...,a_r就称为向量空间VV的一个基,rr称为向量空间VV的维数,并称VVrr维向量空间

一般的,由向量组a1,a2,...,ama_1,a_2,...,a_m所生产的向量空间为

L={x=λ1a1+λ2a2+....+λmamλ1,λ2,...,λnR}L=\{x=\lambda_1a_1+\lambda_2a_2+....+\lambda_ma_m|\lambda_1,\lambda_2,...,\lambda_n\in\mathbb{R} \}

Notes:

  • 如果向量空间VV没有基,那么V的维数为0
  • 0维向量空间只含有一个零向量0
  • 向量空间VV的基就是向量组的最大无关组
  • VV的维数就是向量组的秩
  • 任何nn个线性无关的nn维向量都可以是向量空间Rn\mathbb{R}^n的一个基,其维数为nn,称其为nn维向量空间

定义8

如果在向量空间VV中取定一个基a1,a2,...,ara_1,a_2,...,a_r,那么V中任一向量xx都可惟一表示为

x=λ1a1+λ2a2+...+λrarx=\lambda_1a_1+\lambda_2a_2+...+\lambda_ra_r

数组λ1,λ2,....,λr\lambda_1,\lambda_2,....,\lambda_r称为向量xx在基a1,a2,...,ara_1,a_2,...,a_r中的坐标

特别地,在nn维向量空间Rn\mathbb{R}^n中取单位坐标向量组e1,e2,...,ene_1,e_2,...,e_n为基,则以x1,x2,...,xnx_1,x_2,...,x_n为分量的向量xx,可以表示为 x=x1e1+x2e2,....,xnenx=x_1e_1+x_2e_2,....,x_ne_n 可见向量在基e1,e2,...,ene_1,e_2,...,e_n中的坐标就是该向量的分量 e1,e2,...,ene_1,e_2,...,e_n称为Rn\mathbb{R}^n中的自然基 Ps:以x1,x2,...,xnx_1,x_2,...,x_n为分量的向量xx的意思是:x=[x1x2...xn]x=\begin{bmatrix} x_1\\ x_2\\ .\\ .\\ .\\ x_n \end{bmatrix}

举例

例18

证明:集合V={x=(0,x2,...,xn)Tx2,...,xnR}V=\{x=(0,x_2,...,x_n)^T|x_2,...,x_n\in \mathbb{R}\}是一个向量空间

解答

a=(0,a2,...,an)TV,b=(0,b2,...,bn)TVa = (0,a_2,...,a_n)^T\in V,b = (0,b_2,...,b_n)^T\in V

加法封闭性:

a+b=(0,a2,...,an)T+(0,b2,...,bn)T=(0,a2+b2,...,an+bn)TVa+b=(0,a_2,...,a_n)^T+(0,b_2,...,b_n)^T=(0,a_2+b_2,...,a_n+b_n)^T\in V

乘法封闭性:

λR\lambda \in \mathbb{R}

λa=λ(0,a2,...,an)T=(0,λa2,...,λan)TV\lambda a = \lambda(0,a_2,...,a_n)^T=(0,\lambda a_2,...,\lambda a_n)^T\in V

注意:第一个元素始终是0

综上:集合V={x=(0,x2,...,xn)Tx2,...,xnR}V=\{x=(0,x_2,...,x_n)^T|x_2,...,x_n\in \mathbb{R}\}是一个向量空间

例19

证明:集合V={x=(1,x2,...,xn)Tx2,...,xnR}V=\{x=(1,x_2,...,x_n)^T|x_2,...,x_n\in \mathbb{R}\}不是一个向量空间

解答

a=(1,a2,...,an)TV,b=(1,b2,...,bn)TVa = (1,a_2,...,a_n)^T\in V,b = (1,b_2,...,b_n)^T\in V

加法封闭性:

a+b=(1,a2,...,an)T+(1,b2,...,bn)T=(2,a2+b2,...,an+bn)TVa+b=(1,a_2,...,a_n)^T+(1,b_2,...,b_n)^T=(2,a_2+b_2,...,a_n+b_n)^T\notin V

第一个元素是2,而VV中所有元素的第一个元素都是1 所以不属于VV

加法封闭性不成立

故:集合V={x=(1,x2,...,xn)Tx2,...,xnR}V=\{x=(1,x_2,...,x_n)^T|x_2,...,x_n\in \mathbb{R}\}不是一个向量空间

例20

证明:齐次线性方程组的解集S={xAx=0}S=\{x|Ax=0\}是一个向量空间(称为齐次线性方程组的解空间)

解答

a=x1S,b=x2Sa=x_1\in S,b=x_2\in S

Ax1=0,Ax2=0Ax_1=0,Ax_2=0

加法封闭性:

a+b=x1+x2a+b=x_1+x_2

A(x1+x2)=Ax1+Ax2=0+0=0A(x_1+x_2)=Ax_1+Ax_2=0+0=0

说明a+b=x1+x2a+b=x_1+x2也是方程Ax=0Ax=0的一个解

所以

a+bSa+b\in S

乘法封闭性:

λR\lambda \in \mathbb{R}

λa=λx1\lambda a=\lambda x_1

A(λx1)=λ(Ax1)=λ0=0A(\lambda x_1)=\lambda(Ax_1)=\lambda 0=0

说明λa\lambda a也是方程Ax=0Ax=0的一个解

所以

λaS\lambda a\in S

综上:齐次线性方程组的解集S={xAx=0}S=\{x|Ax=0\}是一个向量空间(称为齐次线性方程组的解空间)

例21

证明:非齐次线性方程组的解集S={xAx=b}S=\{x|Ax=b\}不是向量空间

解答

因为是非齐次线性方程组,所以存在没有解的情况(齐次一定有一个解:零解)

SS为空集的时候,SS一定不是向量空间

向量空间的前提就是集合为非空

SS非空时

a=x1S,b=x2Sa=x_1\in S,b=x_2\in S

加法封闭性:

a+b=x1+x2a+b=x_1+x_2

A(x1+x2)=Ax1+Ax2=b+b=2bbA(x_1+x_2)=Ax_1+Ax_2=b+b=2b \neq b

可以得到

a+b=x1+x2a+b=x_1+x_2不是方程Ax=bAx=b的一个解

不满足加法封闭性

故:非齐次线性方程组的解集S={xAx=b}S=\{x|Ax=b\}不是向量空间

例24

A=(a1,a2,a3)=[221212122],B=(b1,b2)=[140342]A=(a_1,a_2,a_3)=\begin{bmatrix} 2 & 2 & -1\\ 2 & -1 & 2\\ -1 & 2 & 2 \end{bmatrix},B=(b_1,b_2)=\begin{bmatrix} 1 & 4\\ 0 & 3\\ -4 & 2 \end{bmatrix},验证a1,a2,a3a_1,a_2,a_3R3\mathbb{R}^3的一个基,并求b1,b2b_1,b_2在这个基中的坐标

解答

b1=x11a1+x21a2+x31a3b_1=x_{11}a_1+x_{21}a_2+x_{31}a_3 b2=x12a1+x22a2+x32a3b_2=x_{12}a_1+x_{22}a_2+x_{32}a_3

(b1,b2)=(a1,a2,a3)[x11x12x21x22x31x32](b_1,b_2)=(a_1,a_2,a_3)\begin{bmatrix} x_{11} & x_{12}\\ x_{21} & x_{22}\\ x_{31} & x_{32}\\ \end{bmatrix}

记作B=AXB=AX

相当于对方程AX=BAX=B进行求解

方法就是对(A,B)(A,B)进行初等行变换,使得AA变为EE

求方程AX=BAX=B的解一般就是对(A,B)(A,B)进行初等行变换,使得AA变为EE,原来BB位置上的结果就是X(A1B)X(A^{-1}B)

在这里插入图片描述 在最后的结果中,可以发现

R(A)=3R(A)=3

说明a1,a2,a3a_1,a_2,a_3线性无关,可以作为R3\mathbb{R}^3的一个基

同时可得

X=[x11x12x21x22x31x32]=[2343231123]X=\begin{bmatrix} x_{11} & x_{12}\\ x_{21} & x_{22}\\ x_{31} & x_{32}\\ \end{bmatrix}=\begin{bmatrix} \frac{2}{3} & \frac{4}{3}\\ -\frac{2}{3} & 1\\ -1 & \frac{2}{3}\\ \end{bmatrix}

说明

b1=x11a1+x21a2+x31a3=23a123a2a3b_1=x_{11}a_1+x_{21}a_2+x_{31}a_3=\frac{2}{3}a_1-\frac{2}{3}a_2-a_3 b2=x12a1+x22a2+x32a3=43a1+a2+23a3b_2=x_{12}a_1+x_{22}a_2+x_{32}a_3=\frac{4}{3}a_1+a_2+ \frac{2}{3}a_3

b1,b2b_1,b_2在基a1,a2,a3a_1,a_2,a_3的坐标依次是(23,23,1)(43,1,23)(\frac{2}{3},-\frac{2}{3},-1)、(\frac{4}{3},1,\frac{2}{3})

结语

说明:

  • 参考于 课本《线性代数》第五版 同济大学数学系编
  • 配合书中概念讲解 结合了自己的一些理解及思考

文章仅作为学习笔记,记录从0到1的一个过程

希望对您有所帮助,如有错误欢迎小伙伴指正~

我是 海轰ଘ(੭ˊᵕˋ)੭

如果您觉得写得可以的话,请点个赞吧

谢谢支持 ❤️