「这是我参与2022首次更文挑战的第13天，活动详情查看：2022首次更文挑战」。

@TOC

前言

Hello！小伙伴！ 非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～   自我介绍 ଘ(੭ˊᵕˋ)੭ 昵称：海轰 标签：程序猿｜C++选手｜学生 简介：因C语言结识编程，随后转入计算机专业，有幸拿过一些国奖、省奖...已保研。目前正在学习C++/Linux/Python 学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！   机器学习小白阶段 文章仅作为自己的学习笔记 用于知识体系建立以及复习 知其然 知其所以然！

往期文章

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（1）：集合与映射

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（2）：线性空间定义及其性质

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（3）：线性空间的基与坐标

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（4）：基变换与坐标变换

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（5）：线性子空间

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（6）：子空间的交与和

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（7）：欧氏空间

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（8）：标准正交基与Gram-Schmidt过程

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（9）：正交补与投影定理

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（10）：线性变换定义

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（11）：线性变换的矩阵表示

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（12）：相似形理论

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（13）：Hamliton-Cayley定理、最小多项式

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（14）：向量范数及其性质

4.2 矩阵的范数

4.2.1 矩阵范数的定义与性质

定义4.3：矩阵范数

设$A、B\in C^{n×n},a\in C$，按某一法则在$C^{n×n}$上定义一个$A$的实值函数，记为$||A||$

其满足下面四个条件

• 非负性：如果$A\neq 0$，则$||A||>0$;若$A=0$，则$||A||=0$
• 齐次性：对任意的$a\in C$，$||aA||=|a|||A||$
• 三角不等式：$||A+B||\leq||A||+||B||$
• 相容性：$||AB||\leq||A||\cdot||B||$

则称$||A||$为矩阵范数或乘积范数

$m1范数$

定义$A\in C^{n×n},A=(a_{ij})_{n×n}$，则

$||A||_{m1}=\sum_{i,j}^{n}|a_{ij}|$

为$m1$范数

$m\infty范数$

定义$A\in C^{n×n},A=(a_{ij})_{n×n}$，则

$||A||_{m\infty}=n\cdot \max_{i,j}|a_{ij}|$

为$m\infty$范数

$F-范数（或m2范数）$

定义$A\in C^{n×n},A=(a_{ij})_{n×n}$，则

$||A||_{F}=(\sum_{i=1}^n\sum_{j=1}^{n}|a_{ij}|^2)^{\frac{1}{2}}=tr(\bar{A^T}A)^{\frac{1}{2}}$

为$F-$范数（或$m2$范数）

定义4.4

如果任意向量$\boldsymbol\chi\in C^n$及任意$n$级方阵$A\in C^{n×n}$，对于给定的向量范数$||\boldsymbol\chi||$和矩阵范数$||A||$满足不等式

$||A\boldsymbol\chi||\leq||A||\;||\boldsymbol\chi||$

则称矩阵范数$||A||$与向量范数$||\boldsymbol\chi||$相容

酉矩阵

定义

若矩阵$A$满足$A^HA=AA^H=E$，则称$A$为酉矩阵

$A^H$是指：共轭转置，不仅需要进行转置，还需要对虚数进行取反

性质

（1）$|det A|=1$：$A$的行列式的模长为1

（2）$A^{-1}=A^{H}$

（3）对任意向量$x$，有$||Ax||_2=||x||_2$，即2-范数的酉不变性

（4）$A$是酉矩阵当且仅当$A$的行（列）向量组是两两正交的单位向量

定理4.2.1

设$A\in C^{n×n},P,Q\in C^{n×n},P,Q$皆为酉矩阵，则

$||PA||_F=||A||_F=||AQ||_F$

$A$是$n$级实方阵时，$P、Q$都是正交矩阵

说明：正交变换、酉变换对矩阵F-范数具有保范性

定理4.2.2

方阵$A\in C^{n×n}$的任一种范数是$A$的元素的连续函数

定理4.2.3

对于$C^{n×n}$中任意两种方阵范数$||A||_a$和$||A||_b$，必然存在$k_2\geq k_1>0$，使得

$k_1||A||_b\leq||A||_a\leq k_2||A||_b$

对于$C^{n×n}$中一切方阵$A$都成立

4.2.2 几种常用的矩阵范数

定义4.5：算子范数

设$||\boldsymbol\chi||_a$是$C^n$的一个向量范数，对于任何$A\in C^{n×n}$，则

$||A||_a=\max_{||\boldsymbol\chi||_a=1}||a\boldsymbol\chi||_a$

是一个与$||\boldsymbol\chi||$相容的方阵范数，称这个方阵范数为从属于向量范数$||\boldsymbol\chi||_a$的算子范数

定理4.2.4

设$A\in C^{n×n},\boldsymbol\chi\in C^n,\boldsymbol\chi=(\xi_1,\xi_2,...,\xi_n)^T$，则从属于向量$\boldsymbol\chi$的三种范数$||\boldsymbol\chi||_1,||\boldsymbol\chi||_2,||\boldsymbol\chi||_{\infty}$的矩阵算子范数分别是

||A||_1=\max_j\sum_{i=1}^{n}|a_{ij}|\tag{1}

记忆：先对$A$中对每一列元素取模再求和，然后找出各列模总和中最大的一个值

||A||_2=\sqrt{\lambda_1},\quad \lambda_1为A^HA的最大特征值\tag{2}

记忆：先找出$A^HA$中的最大特征值 再开方

||A||_{\infty}=\max_i\sum_{j=1}^{n}|a_{ij}|\tag{3}

记忆：先对$A$中对每一行元素取模再求和，然后找出各行模总和中最大的一个值

定义4.6

若$n×n$矩阵$A$的全部特征值为$\lambda_1,\lambda_2,...,\lambda_n$，则称

$\rho(A)=\max_i|\lambda_i|$

为方阵$A$的谱半径

其实就是方阵$A$的$||A||_2$范数

补充

如果$||\cdot||$是任意的矩阵函数，且$A\in C^{n×n}$，则

$\rho(A)\leq ||A||$

定理4.2.6

设$A\in C^{n×n}$，则

（1）$||A||_2=||A^H||_2=||A^T||_2=||\bar{A}||_2$

（2）$||A^HA||_2=||AA^H||_2=||A||_2^2$

（3）对任何$n$阶酉阵$U$及$V$，都有

$||UA||_2=||AV||_2=||UAV||_2=||A||_2$

结语

说明：

• 参考于 课本《矩阵理论》
• 配合书中概念讲解 结合了自己的一些理解及思考

文章仅作为学习笔记，记录从0到1的一个过程

希望对您有一点点帮助，如有错误欢迎小伙伴指正