「这是我参与2022首次更文挑战的第14天，活动详情查看：2022首次更文挑战」。
@TOC
前言
Hello！小伙伴！ 非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～ 自我介绍 ଘ(੭ˊᵕˋ)੭ 昵称：海轰 标签：程序猿｜C++选手｜学生 简介：因C语言结识编程，随后转入计算机专业，有幸拿过一些国奖、省奖...已保研。目前正在学习C++/Linux/Python 学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！ 机器学习小白阶段 文章仅作为自己的学习笔记 用于知识体系建立以及复习 知其然 知其所以然！
往期文章
【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（1）：集合与映射
【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（2）：线性空间定义及其性质
【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（3）：线性空间的基与坐标
【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（4）：基变换与坐标变换
【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（5）：线性子空间
【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（6）：子空间的交与和
【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（7）：欧氏空间
【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（8）：标准正交基与Gram-Schmidt过程
【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（9）：正交补与投影定理
【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（10）：线性变换定义
【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（11）：线性变换的矩阵表示
【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（12）：相似形理论
【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（13）：Hamliton-Cayley定理、最小多项式
4.1 向量范数及其性质
4.1.1 向量范数的概念及P-范数
设给定维向量空间中的向量序列，其中
如果每一个分量当时，都有极限，即
记
则称向量序列有极限或称收敛于
简称收敛，记为
不收敛的向量序列称为发散的
收敛的向量序列：
\frac{1}{2^k}\\
\quad\\
\frac{\sin{k}}{k}
\end{bmatrix}
\quad k=1,2,3,...$$
因为当$k\rightarrow\infty$时，$\frac{1}{2^k}\rightarrow0,\frac{\sin{k}}{k}\rightarrow0$
所以
$$\lim_{k\rightarrow\infty}\boldsymbol\chi^{(k)}=\begin{bmatrix}
\lim_{k\rightarrow\infty} \frac{1}{2^k}\\
\quad\\
\lim_{k\rightarrow\infty}\frac{\sin{k}}{k}
\end{bmatrix}=\begin{bmatrix}
0 \\
0
\end{bmatrix}
发散的向量序列：
\sum_{i=1}^{k}\frac{1}{2^i}\\
\quad\\
\sum_{i=1}^k\frac{1}{i}
\end{bmatrix}
\quad k=1,2,3,...$$
因为
$$\sum_{i=1}^{k}\frac{1}{2^i}\rightarrow1，而\sum_{i=1}^k\frac{1}{i}\rightarrow\infty$$
### 定义4.1
如果$V$是数域$K$上的线性空间，且对于$V$的任一向量$\boldsymbol\chi$，对应一个实值函数$||\boldsymbol\chi||$，它满足下面三个条件：
- 非负性：当$\boldsymbol\chi\neq0$时，$||\boldsymbol\chi||>0$；当$\boldsymbol\chi=0$时，$||\boldsymbol\chi||=0$
- 齐次性：$|a\boldsymbol\chi|=|a|||\boldsymbol\chi||$
- 三角不等式：$||\boldsymbol\chi+\boldsymbol\zeta||\leq||\boldsymbol\chi||+||\boldsymbol\zeta|| \quad \boldsymbol\chi,\boldsymbol\zeta\in V$
则称$||\boldsymbol\chi||$为$V$上$\boldsymbol\chi$的范数
### 例1
试着说明在$n$维酉空间$C^n$上，复向量$\boldsymbol\chi=(\xi_1,\xi_2,...,\xi_n)$
设 $\boldsymbol\chi=(\xi_1,\xi_2,...,\xi_n)\in C^{n}$的长度
$$||\boldsymbol\chi||=\sqrt{|\xi_1|^2+|\xi_2|^2+...+|\xi_n|^2}$$
是一种范数
**解答**
证非负性：
当$\boldsymbol\chi\neq 0$时，$||\boldsymbol\chi||=\sqrt{|\xi_1|^2+|\xi_2|^2+...+|\xi_n|^2}>0$
当且仅当$\boldsymbol\chi=0$时，$||\boldsymbol\chi||=\sqrt{|\xi_1|^2+|\xi_2|^2+...+|\xi_n|^2}=0$
证齐次性：
对任意复数$a$
$\quad\quad||a\boldsymbol\chi||=\sqrt{|a\xi_1|^2+|a\xi_2|^2+...+|a\xi_n|^2}\\
\quad\\
\quad\quad\quad\quad\quad=|a|\sqrt{|\xi_1|^2+|\xi_2|^2+...+|\xi_n|^2}\\
\quad\\
\quad\quad\quad\quad\quad=|a|||\boldsymbol\chi||$
证三角不等式：
对于任意的两个复向量$\boldsymbol\chi=(\xi_1,\xi_2,...,\xi_n),\boldsymbol\zeta=(\eta_1,\eta_2,...,\eta_n)$，有
$$\boldsymbol\chi+\boldsymbol\zeta=(\xi_1+\eta_1,\xi_2+\eta_2,...,\xi_n+\eta_n)$$
所以
$$||\boldsymbol\chi+\boldsymbol\zeta||=\sqrt{|\xi_1+\eta_1|^2+|\xi_2+\eta_2|^2+...+|\xi_n+\eta_n|^2}$$
即
$\qquad||\boldsymbol\chi+\boldsymbol\zeta||^2=|\xi_1+\eta_1|^2+|\xi_2+\eta_2|^2+...+|\xi_n+\eta_n|^2\\
\quad\\
\qquad\qquad\qquad=|\xi_1|^2+...+|\xi_n|^2+\sum_{i=1}^{n}\xi_i\bar{\eta_i}+\sum_{i=1}^{n}\bar{\xi_i}\eta_i+|\eta_1|^2+...+|\eta_n|^2\\
\quad\\
\qquad\qquad\qquad=||\boldsymbol\chi||^2+2Re(\boldsymbol\chi,\boldsymbol\xi)+||\boldsymbol\zeta||^2\\
\quad\\
\qquad\qquad\qquad\leq||\boldsymbol\chi||^2+2||\boldsymbol\chi||\;
||\boldsymbol\zeta||+||\boldsymbol\zeta||^2\\
\quad\\
\qquad\qquad\qquad=(||\boldsymbol\chi||+||\boldsymbol\zeta||)^2$
---
上面的推导过程来自课本，但是感觉有一点问题
首先需要知道，两个复数之和的模
比如$|\xi_1+\eta_1|^2=|\xi_1|^2+|\eta_1|^2+\bar{\xi_1}\eta_1+\xi_1\bar{\eta_1}$
> 可以举一个例子，比如$\xi_1=1+2i,\eta_1=3-2i$,计算一下，会发现确实是这样的
然后 $\bar{\xi_1}\eta_1=\xi_1\bar{\eta_1}$
> 同样举一个例子就可以了
所以
$\qquad|\xi_1|^2+...+|\xi_n|^2+\sum_{i=1}^{n}\xi_i\bar{\eta_i}+\sum_{i=1}^{n}\bar{\xi_i}\eta_i+|\eta_1|^2+...+|\eta_n|^2\\
\quad\\
\quad=|\xi_1|^2+...+|\xi_n|^2+2\sum_{i=1}^{n}\xi_i\bar{\eta_i}+|\eta_1|^2+...+|\eta_n|^2$
可以发现
$$\sum_{i=1}^{n}\xi_i\bar{\eta_i}=(\boldsymbol\chi,\bar{\boldsymbol\zeta})$$
> $\bar{\boldsymbol\zeta}$表示对其中每一个复数进行操作：实部不变，虚部取反
> $(\boldsymbol\chi,\bar{\boldsymbol\zeta})$表示两个向量的内积
利用施瓦茨不等式，有
$$(\alpha,\beta)\leq\sqrt{(\alpha,\alpha)(\beta,\beta)}=|\alpha||\beta|$$
所以
$$(\boldsymbol\chi,\bar{\boldsymbol\zeta})\leq|\boldsymbol\chi|\;|\bar{\boldsymbol\zeta}|$$
又因为
$$|\bar{\boldsymbol\zeta}|=|\boldsymbol\zeta|$$
所以
$$(\boldsymbol\chi,\bar{\boldsymbol\zeta})\leq|\boldsymbol\chi|\;|\boldsymbol\zeta|$$
综上
$\quad|\xi_1|^2+...+|\xi_n|^2+2\sum_{i=1}^{n}\xi_i\bar{\eta_i}++|\eta_1|^2+...+|\eta_n|^2\\
\quad\\
=|\xi_1|^2+...+|\xi_n|^2+2(\boldsymbol\chi,\bar{\boldsymbol\zeta})+|\eta_1|^2+...+|\eta_n|^2\\
\quad\\
\leq|\xi_1|^2+...+|\xi_n|^2+2|\boldsymbol\chi|\;|\boldsymbol\zeta|+|\eta_1|^2+...+|\eta_n|^2\\\quad\\
=(||\boldsymbol\chi||+||\boldsymbol\zeta||)^2$
> 感觉正确的推导应该是这样
> 不知道课本上是咋推导的
> 自己没有想明白
> 如有错误 欢迎指正
---
即
$$||\boldsymbol\chi+\boldsymbol\zeta||^2\leq(||\boldsymbol\chi||+||\boldsymbol\zeta||)^2$$
### 向量的几种范数
<font color="red">$P-范数$</font>
定义
$$(\sum_{i=1}^{n}|\xi_i|^p)^{\frac{1}{p}}\quad 1\leq p < + \infty$$
为$P-范数$
> 当$P=1$时，得到$1-范数$
> 当$P=2$时，得到$2-范数$
> 当$P=\infty$时，得到$\infty-范数$
<font color="red"> $1-范数$</font>
定义
$${||\boldsymbol\chi||}_1=\sum_{i=1}^{n}|\xi_i|$$
为$1-范数$
> 记忆：一个向量中所有元素模的和
> 比如：$\boldsymbol\chi=(1,-2,3)$
> 则：$||\boldsymbol\chi||_1=\sum_{i=1}^{n}|\xi_i|=|1|+|-2|+|3|=1+2+3=6$
<font color="red"> $2-范数$</font>
定义
$${||\boldsymbol\chi||}_2=(\sum_{i=1}^{n}|\xi_i|^2)^{\frac{1}{2}}$$
为$2-范数$
> 记忆：一个向量中所有元素模的平方的和再开方
> 比如：$\boldsymbol\chi=(1,-2,3)$
> 则：$||\boldsymbol\chi||_2=\sum_{i=1}^{n}|\xi_i|=(|1|^2+|-2|^2+|3|^2)^{\frac{1}{2}}=(1+4+9)^{\frac{1}{2}}=\sqrt{14}$
<font color="red">$\infty-范数$</font>
定义
$${||\boldsymbol\chi||}_{\infty}=\max_{i}|\xi_i|$$
为$\infty-范数$
> 记忆：一个向量中模最大的那个元素
> 比如：$\boldsymbol\chi=(1,-2,3,-4,5,-6)$
> 则：$||\boldsymbol\chi||_{\infty}=\max_{i}|\xi_i|=|-6|=6$
## 4.1.2 $n$维线性空间$V$上的向量范数等价性
### 定理4.1.1
设${||\boldsymbol\chi||}_{\alpha}$和${||\boldsymbol\chi||}_{\beta}$为有限维线性空间$V$的任一两种向量范数
它们不限于$P-$范数，则总存在两个与向量无关的正常数$c_1$和$c_2$，使得
$$c_1{||\boldsymbol\chi||}_{\beta}\leq{||\boldsymbol\chi||}_{\alpha}\leq c_2{||\boldsymbol\chi||}_{\beta},\forall \boldsymbol\chi\in V$$
说明这两种范数是**等价**的
### 推论
设$||\boldsymbol\chi||_{\alpha}$和$||\boldsymbol\chi||_{\beta}$都是$||\boldsymbol\chi||_{p}(p=1,2,\infty)$，则下面两个不等式成立
$$||\boldsymbol\chi||_{\infty}\leq||\boldsymbol\chi||_{1}\leq n||\boldsymbol\chi||_{\infty}\tag{1}$$
> $||\boldsymbol\chi||_{1}$求一个向量中所有元素的模的和，而$||\boldsymbol\chi||_{\infty}$是找一个向量中元素的最大模
> 所以$||\boldsymbol\chi||_{1}$一定是大于等于$||\boldsymbol\chi||_{\infty}$
> 小于等于$n$个$||\boldsymbol\chi||_{\infty}$之和（边界条件：向量中每一个元素的模都一样，等式成立）
$$||\boldsymbol\chi||_{\infty}\leq||\boldsymbol\chi||_{2}\leq \sqrt{n}||\boldsymbol\chi||_{\infty}\tag{2}$$
> 理解$||\boldsymbol\chi||_{2}$是一个向量中所有元素模的平方的和再开方
### 定理4.1.2
$C^n$中的向量序列$\boldsymbol\chi^{(k)}=(\xi_1^{(k)},\xi_2^{(k)},...,\xi_n^{(k)})\quad k=1,2,3,...$收敛到向量$\boldsymbol\chi=(\xi_1,\xi_2,...,\xi_n)$的充要条件是对任一种范数$||\cdot||$，序列$||\boldsymbol\chi^{(k)}-\boldsymbol\chi||$收敛到零
# 结语
说明：
- 参考于 课本《矩阵理论》
- 配合书中概念讲解 结合了自己的一些理解及思考
文章仅作为学习笔记，记录从0到1的一个过程
希望对您有一点点帮助，如有错误欢迎小伙伴指正
