【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（18）：对称矩阵的对角化

海轰Pro
958 阅读2分钟

小知识，大挑战！本文正在参与“程序员必备小知识”创作活动。

前言

Hello！小伙伴！

非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～

 

自我介绍 ଘ(੭ˊᵕˋ)੭

昵称：海轰

标签：程序猿｜C++选手｜学生

简介：因C语言结识编程，随后转入计算机专业，有幸拿过一些国奖、省奖...已保研。目前正在学习C++/Linux/Python

学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！

 

机器学习小白阶段

文章仅作为自己的学习笔记 用于知识体系建立以及复习

知其然 知其所以然！

5.4 对称矩阵的对角化

定理5

对称阵的特征值为实数

定理6

设λ1,λ2\lambda_1,\lambda_2是对称阵AA的两个特征值，p1,p2p_1,p_2是对应的特征向量。若λ1≠λ2\lambda_1\neq\lambda_2，则p1p_1与p2p_2正交

证明：

因为λ1,λ2\lambda_1,\lambda_2是对称阵AA的两个特征值，p1,p2p_1,p_2是对应的特征向量

所以，有

{Ap1=λ1p1Ap2=λ2p2\begin{cases} Ap_1=\lambda_1p_1\\ Ap_2=\lambda_2p_2 \end{cases}

因为AA对称 所以A=ATA=A^T

λ1p1T=(λ1p1)T=(Ap1)T=p1TAT=p1TA\lambda_1 p_1^T=(\lambda_1 p_1)^T=(Ap_1)^T=p_1^TA^T=p_1^TA

那么

λ1p1Tp2=(λ1p1T)p2=p1TAp2=p1T(Ap2)=p1T(λ2p2)=λ2p1Tp2\lambda_1p_1^Tp_2=(\lambda_1p_1^T)p_2=p_1^TAp_2=p_1^T(Ap_2)=p_1^T(\lambda_2p_2)=\lambda_2p_1^Tp_2

即

λ1p1Tp2=λ2p1Tp2\lambda_1p_1^Tp_2=\lambda_2p_1^Tp_2

λ1p1Tp2−λ2p1Tp2=(λ1−λ2)p1Tp2=0\lambda_1p_1^Tp_2-\lambda_2p_1^Tp_2=(\lambda_1-\lambda_2)p_1^Tp_2=0

因为

λ1≠λ2\lambda_1 \neq \lambda_2

所以

p1Tp2=0p_1^Tp_2=0

即p1p_1与p2p_2正交

定理7

设AA为nn阶对称阵，则必有正交阵PP，使P−1AP=PTAP=ΛP^{-1}AP=P^{T}AP=\Lambda，其中Λ\Lambda是以AA的nn个特征值为对角元的对角阵

正交阵：如果AAT=EAA^T=E，那么AA就是正交阵 正交阵中A−1=ATA^{-1}=A^{T}

推论

设AA为nn阶矩阵，λ\lambda是AA的特征方程的kk重根，则矩阵A−λEA-\lambda E的秩R(A−λE)=n−kR(A-\lambda E)=n-k，从而对应特征值λ\lambda恰好有kk个线性无关的特征向量

举例

例12

设A=[0−11−101110]A=\begin{bmatrix} 0 & -1 & 1\\ -1 & 0 & 1\\ 1 & 1 & 0 \end{bmatrix}，求一个正交阵PP，使得P−1AP=ΛP^{-1}AP=\Lambda为对角阵

解答：

由

∣A−λE∣=A=[−λ−11−1−λ111−λ]=−(λ−12)(λ+1)|A-\lambda E|=A=\begin{bmatrix} -\lambda & - 1 & 1\\ -1 & -\lambda & 1\\ 1 & 1 & -\lambda \end{bmatrix}=-(\lambda-1^2)(\lambda+1)

解得A的特征值为

λ1=−2,λ2=λ3=1\lambda_1=-2,\lambda_2=\lambda_3=1

对应λ1=−2\lambda_1=-2,解方程(A+2E)x=0(A+2E)x=0

A+2E=[2−11−121112]∼[101011000]A+2E=\begin{bmatrix} 2 & -1 & 1\\ -1 & 2 & 1\\ 1 & 1 & 2 \end{bmatrix}\sim \begin{bmatrix} 1 & 0 & 1\\ 0 & 1 & 1\\ 0 & 0 & 0 \end{bmatrix}

得基础解系ζ1=[−1−11]\zeta_1=\begin{bmatrix} -1\\ -1\\ 1 \end{bmatrix}

对ζ1\zeta_1进行单位化，得

p1=13[−1−11]p_1=\frac{1}{\sqrt{3}}\begin{bmatrix} -1\\ -1\\ 1 \end{bmatrix}

对应λ2=λ3=1\lambda_2=\lambda_3=1，解方程(A−E)x=0(A-E)x=0

∣A−E∣=[−1−11−1−1111−1]∼[11−1000000]|A-E|=\begin{bmatrix} -1 & -1 & 1\\ -1 & -1 & 1\\ 1 & 1 & -1 \end{bmatrix} \sim \begin{bmatrix} 1 & 1 & -1\\ 0 & 0 & 0\\ 0 & 0 & 0\\ \end{bmatrix}

得基础解系

ζ2=[−110],ζ3=[101]\zeta_2=\begin{bmatrix} -1\\ 1\\ 0 \end{bmatrix},\zeta_3=\begin{bmatrix} 1\\ 0\\ 1 \end{bmatrix}

将ζ2、ζ2\zeta_2、\zeta_2正交化

令η2=ζ2\eta_2=\zeta_2

η3=ζ3−[η2,ζ3]∣∣ζ2∣∣η2=[101]+12[−110]=12[112]\eta_3=\zeta_3-\frac{[\eta_2,\zeta_3]}{||\zeta_2||}\eta_2=\begin{bmatrix} 1\\ 0\\ 1 \end{bmatrix}+\frac{1}{2}\begin{bmatrix} -1\\ 1\\ 0 \end{bmatrix}=\frac{1}{2}\begin{bmatrix} 1\\ 1\\ 2 \end{bmatrix}

再将η2、ζ3\eta_2、\zeta_3单位化，得

p2=12[−110],p3=16[112]p_2=\frac{1}{\sqrt{2}}\begin{bmatrix} -1\\ 1\\ 0 \end{bmatrix},p_3=\frac{1}{\sqrt{6}}\begin{bmatrix} 1\\ 1\\ 2 \end{bmatrix}

将p1,p2,p3p_1,p_2,p_3构成正交矩阵

P=(p1,p2,p3)=[−13−1216−13121613026] P=(p_1,p_2,p_3)=\begin{bmatrix} -\frac{1}{\sqrt{3}} & -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{6}}\\ -\frac{1}{\sqrt{3}} & \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{6}}\\ \frac{1}{\sqrt{3}} & 0 & \frac{2}{\sqrt{6}} \end{bmatrix}

有P−1AP=PTAP=Λ=[−200010001]P^{-1}AP=P^{T}AP=\Lambda=\begin{bmatrix} -2 & 0 & 0\\ 0 & 1 & 0\\ 0 & 0 & 1 \end{bmatrix}

例13

设A=[2−1−12]A=\begin{bmatrix} 2 & -1\\ -1 & 2 \end{bmatrix}，求AnA^n

解答：

因为AA是实数对称阵，所以AA可对角化

nn阶实对称矩阵AA必可对角化，且相似对角阵上的元素即为矩阵本身特征值

所以存在正交矩阵P、对角阵Λ\Lambda使得

P−1AP=ΛP^{-1}AP=\Lambda

A=PΛP−1A=P\Lambda P^{-1}

An=(PΛP−1)n=(PΛP−1)(PΛP−1)...(PΛP−1)=PΛ(P−1P)Λ(P−1P)....(P−1P)ΛP−1=PΛnP−1A^{n}=(P\Lambda P^{-1})^n=(P\Lambda P^{-1})(P\Lambda P^{-1})...(P\Lambda P^{-1})=P\Lambda(P^{-1}P)\Lambda(P^{-1}P)....(P^{-1}P)\Lambda P^{-1}=P\Lambda^{n}P^{-1}

也就是说求AnA^{n}，需要先求出Λn、P、P−1\Lambda^n、P、P^{-1}

由

∣A−λE∣=A=[2−λ−1−12−λ]=(λ−1)(λ−3)|A-\lambda E|=A=\begin{bmatrix} 2-\lambda & -1\\ -1 & 2-\lambda \end{bmatrix}=(\lambda-1)(\lambda-3)

得到A的特征值λ1=1,λ2=3\lambda_1=1,\lambda_2=3

得到

\Lambda=\begin{bmatrix} 1 & 0 \\ 0 & 3 \end{bmatrix}$$ $$\Lambda^n=\begin{bmatrix} 1^n & 0 \\ 0 & 3^n \end{bmatrix}

对应λ1=1\lambda_1=1，有

A−E=[1−1−11]∼[1−100]A-E=\begin{bmatrix} 1 & -1 \\ -1 & 1 \end{bmatrix} \sim \begin{bmatrix} 1 & -1 \\ 0 & 0 \end{bmatrix}

得基础解系ζ1=[11]\zeta_1=\begin{bmatrix} 1\\ 1 \end{bmatrix}

对应λ2=3\lambda_2=3，有

A−3E=[−1−1−1−1]∼[1100]A-3E=\begin{bmatrix} -1 & -1 \\ -1 & -1 \end{bmatrix}\sim \begin{bmatrix} 1 & 1 \\ 0 & 0 \end{bmatrix}

得到基础解系ζ2=[1−1]\zeta_2=\begin{bmatrix} 1\\ -1 \end{bmatrix}

由ζ1,ζ2\zeta_1,\zeta_2可得正交阵P

P=(ζ1,ζ2)=[111−1]P=(\zeta_1,\zeta_2)=\begin{bmatrix} 1 & 1 \\ 1 & -1 \end{bmatrix}
P−1=12[111−1]P^{-1}=\frac{1}{2}\begin{bmatrix} 1 & 1 \\ 1 & -1 \end{bmatrix}

综上

An=PΛP−1=12[111−1][1n003n][111−1]=12[1+3n1−3n1−3n1+3n]A^n=P\Lambda P^{-1}=\frac{1}{2}\begin{bmatrix} 1 & 1 \\ 1 & -1 \end{bmatrix}\begin{bmatrix} 1^n & 0 \\ 0 & 3^n \end{bmatrix}\begin{bmatrix} 1 & 1 \\ 1 & -1 \end{bmatrix}=\frac{1}{2}\begin{bmatrix} 1+3^n & 1-3^n \\ 1-3^n & 1+3^n \end{bmatrix}

结语

说明：

  • 参考于 课本《线性代数》第五版 同济大学数学系编
  • 配合书中概念讲解 结合了自己的一些理解及思考

文章仅作为学习笔记，记录从0到1的一个过程

希望对您有所帮助，如有错误欢迎小伙伴指正～

我是 海轰ଘ(੭ˊᵕˋ)੭

如果您觉得写得可以的话，请点个赞吧

谢谢支持 ❤️

在这里插入图片描述

avatar
文章
阅读
粉丝