【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（7）：欧氏空间

海轰Pro
451 阅读4分钟

「这是我参与2022首次更文挑战的第21天，活动详情查看：2022首次更文挑战」。

@TOC

在这里插入图片描述

前言

Hello！小伙伴！ 非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～   自我介绍 ଘ(੭ˊᵕˋ)੭ 昵称：海轰 标签：程序猿｜C++选手｜学生 简介：因C语言结识编程，随后转入计算机专业，有幸拿过一些国奖、省奖...已保研。目前正在学习C++/Linux/Python 学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！   机器学习小白阶段 文章仅作为自己的学习笔记 用于知识体系建立以及复习 知其然 知其所以然！

往期文章

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（1）：集合与映射

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（2）：线性空间定义及其性质

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（3）：线性空间的基与坐标

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（4）：基变换与坐标变换

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（5）：线性子空间

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（6）：子空间的交与和

2.1 欧氏空间

2.1.1 欧式空间定义

定义2.1

设VV是实数域RR上的线性空间，如果VV中的任意两个向量α,β\alpha,\beta都按照某一确定的法则对应于惟一确定的实数，记作(α,β)(\alpha,\beta)，并且(α,β)(\alpha,\beta)满足：

  • 对于任意的α,β∈V\alpha,\beta\in V，有(α,β)=(β,α)(\alpha,\beta)=(\beta,\alpha)
  • 对于任意的α,β,γ∈V\alpha,\beta,\gamma\in V，有(α+β,γ)=(α,γ)+(β,γ)(\alpha + \beta, \gamma)=(\alpha,\gamma)+(\beta,\gamma)
  • 对任意的k∈R,α,β∈Vk \in R,\alpha,\beta\in V，有(kα,β)=k(α,β)(k\alpha,\beta)=k(\alpha,\beta)
  • 对任意的α∈V\alpha\in V，有(α,α)≥0(\alpha,\alpha)\geq0，当且仅当α=0\alpha=0时，(α,α)=0(\alpha,\alpha)=0

则称(α,β)(\alpha,\beta)为向量α\alpha与β\beta的内积

定义了内积的实线性空间VV称为欧几里得空间，简称欧式空间

例 - 1

在nn维向量空间RnR^n中，对任意的向量α=(a1,a2,...,an),β=(b1,b2,...,bn)\alpha=(a_1,a_2,...,a_n),\beta=(b_1,b_2,...,b_n)定义法则：

(α,β)=a1b1+a2b2+...+anbn(\alpha,\beta)=a_1b_1+a_2b_2+...+a_nb_n

试说明RnR^n关于内积(α,β)(\alpha,\beta)成一个欧式空间

证明

设α,β∈Rn\alpha,\beta\in R^n，其中α=(a1,a2,...,an),β=(b1,b2,...,bn)\alpha=(a_1,a_2,...,a_n),\beta=(b_1,b_2,...,b_n)

由法则定义可知：

(α,β)=a1b1+a2b2+...+anbn(\alpha,\beta)=a_1b_1+a_2b_2+...+a_nb_n

(β,α)=b1a1+b2a2+...+bnan(\beta,\alpha)=b_1a_1+b_2a_2+...+b_na_n

得到

(α,β)=(β,α)(\alpha,\beta)=(\beta,\alpha)

再设γ∈Rn,γ=(c1,c2,...,cn)\gamma\in R^n,\gamma=(c_1,c_2,...,c_n)，有

(α+β,γ)=(a1+b1)c1+(a2+b2)c2+....+(an+bn)cn=a1c1+b1c1+a2c2+b2c2+...+ancn+bncn=(a1c1+a2c2+...+ancn)+(b1c1+b2c2+...bncn)=(α,γ)+(β,γ)(\alpha+\beta,\gamma)=(a_1+b_1)c_1+(a_2+b_2)c_2+....+(a_n+b_n)c_n\\ \quad\\ \quad\quad\quad\quad\quad =a_1c_1+b_1c_1+a_2c_2+b_2c_2+...+a_nc_n+b_nc_n\\ \quad\\ \quad\quad\quad\quad\quad =(a_1c_1+a_2c_2+...+a_nc_n)+(b_1c_1+b_2c_2+...b_nc_n)\\ \quad\\ \quad\quad\quad\quad\quad =(\alpha,\gamma)+(\beta,\gamma)

设k∈Rk\in R,有

(kα,β)=ka1b1+ka2b2+...+kanbn=k(a1b1+a2b2+...+anbn)=k(α,β)(k\alpha,\beta)=ka_1b_1+ka_2b_2+...+ka_nb_n=k(a_1b_1+a_2b_2+...+a_nb_n)=k(\alpha,\beta)

对于任意的α∈Rn\alpha\in R^n

(α,α)=a12+a22+...+an2(\alpha,\alpha)=a_1^2+a_2^2+...+a_n^2

易得

(α,α)=a12+a22+...+an2≥0(\alpha,\alpha)=a_1^2+a_2^2+...+a_n^2\geq0

当且仅当α=0\alpha=0，即a1=a2=....=an=0a_1=a_2=....=a_n=0时，(α,α)=0(\alpha,\alpha)=0

综上，RnR^n关于内积(α,β)(\alpha,\beta)成一个欧式空间

例 - 2

在nn维空间Rn×nR^{n×n}中，对任意向量A=(aij)n×n,B=(bij)n×nA=(a_{ij})_{n×n},B=(b_{ij})_{n×n}，定义法则

(A,B)=∑i=1n∑j=1naijbij(A,B)=\sum^n_{i=1}\sum^n_{j=1}a_{ij}b_{ij}

则有

(A,B)=∑i=1n∑j=1naijbij=Tr(ABT)(A,B)=\sum^n_{i=1}\sum^n_{j=1}a_{ij}b_{ij}=Tr(AB^T)

补充知识

Tr(A)Tr(A)：the trace of the matrix A，矩阵AA的迹

设A=(aijA=(a_{ij})是一个nn阶方阵（就是n×nn×n的一个矩阵），AA的对角线元素之和称为AA的迹

记为trA或Tr(A)trA或Tr(A)，即

Tr(A)=a11+a22+...+annTr(A)=a_{11}+a_{22}+...+a_{nn}

因为，有

a_{11} & a_{12} &... & a_{1n}\\ a_{21} & a_{22} & ... &a_{2n}\\ . & . & & . \\ . & . & & . \\ a_{n1} & a_{n2} &... & a_{nn}\\ \end{bmatrix}$$ $$B=\begin{bmatrix} b_{11} & b_{12} &... & b_{1n}\\ b_{21} & b_{22} & ... &b_{2n}\\ . & . & & . \\ . & . & & . \\ b_{n1} & b_{n2} &... & b_{nn}\\ \end{bmatrix},B^T=\begin{bmatrix} b_{11} & b_{21} &... & b_{n1}\\ b_{12} & b_{22} & ... &b_{n2}\\ . & . & & . \\ . & . & & . \\ b_{1n} & b_{2n} &... & b_{nn}\\ \end{bmatrix}$$ 所以 $$(AB^T)=\begin{bmatrix} a_{11} & a_{12} &... & a_{1n}\\ a_{21} & a_{22} & ... &a_{2n}\\ . & . & & . \\ . & . & & . \\ a_{n1} & a_{n2} &... & a_{nn}\\ \end{bmatrix}\begin{bmatrix} b_{11} & b_{21} &... & b_{n1}\\ b_{12} & b_{22} & ... &b_{n2}\\ . & . & & . \\ . & . & & . \\ b_{1n} & b_{2n} &... & b_{nn}\\ \end{bmatrix}=...$$ $(AB^T)$的最后结果就不再继续展开了，这里不好使用markdowm文法输入 但是可以知道最后结果是一个$n×n$的矩阵，其中每一个元素是由$n$项相加而来 $\sum^n_{i=1}\sum^n_{j=1}a_{ij}b_{ij}$其实就是也就$n×n$项的累加，对应的就是$(AB^T)$对角线上所有元素的和 > 自己可以使用一个2×2矩阵进行验证，这里就不再验证了 综上 $$\sum^n_{i=1}\sum^n_{j=1}a_{ij}b_{ij}=Tr(AB^T)$$ --- （1）对任意$A,B\in R^{n×n}$，有 $$(A,B)=Tr(AB^T)=Tr((AB^T)^T)=Tr(BA^T)=(B,A)$$ > 注：$Tr(K)=Tr(K^T)$，矩阵$K$的转置不影响对角线所有元素的和，也就不影响其迹了 （2）对任意$A,B,C\in R^{n×n}$，有 $$(A+B,C)=Tr((A+B)C^T)=Tr(AC^T+BC^T)=Tr(AC^T)+Tr(BC^T)=(A,C)+(B,C)$$ > 注：$Tr(K+Q)=Tr(K)+Tr(Q)$ （3）对任意的$k\in R,\quad A,B\in R^{n×n}$，有 $$(kA,B)=Tr((kA)B^T)=Tr(kAB^T)=kTr(AB^T)=k(A,B)$$ > 注意：$Tr(kQ)=kTr(Q)$ （4）对于任意的$A\in R^{n×n}$，有 $$(A,A)=\sum^n_{i=1}\sum^n_{j=1}a_{ij}a_{ij}\geq0$$ 当且仅当$A=\boldsymbol0$及$a_{ij}=0$时，$(A,A)=0$ 综上，定义的法则$(A,B)$满足上面的四个条件，说明$R^{n×n}$对内积$(A,B)$成一个欧式空间 ### 欧氏空间的向量内积性质 `（1）`对于任意的$\alpha\in V(V是欧空间)$，则 $$(0,\alpha)=(\alpha,0)=0$$ > 本质是：$(0,\alpha)=(0\alpha,\alpha)=0(\alpha,\alpha)=0$ 特别地，若$\alpha$对任意的向量$\beta\in V$，都有$(\alpha,\beta)=0$，必有$\alpha=0$ > 当$\beta$取为$\alpha$时，有$(\alpha,\alpha)=0$,也就说明$\alpha=0$ `（2）`对于任意的$\alpha,\beta,\gamma\in V$，恒有 $$(\gamma,\alpha+\beta)=(\gamma,\alpha)+(\gamma,\beta)$$ > $(\gamma,\alpha+\beta)=(\alpha+\beta,\gamma)=(\alpha,\gamma)+(\beta,\gamma)=(\gamma,\alpha)+(\gamma,\beta)$ 类似的，对任意的$\alpha,\beta\in V,k\in R$，有 $$(\beta,k\alpha)=(k\alpha,\beta)=k(\alpha,\beta)=k(\beta,\alpha)$$ `（3）`对欧式空间中任意向量$\alpha_1,\alpha_2,...,\alpha_s,\beta_1,\beta_2,...,\beta_t$及实数$k_1,...,k_s,l_1,...,l_t$，有 $$(\sum^s_{i=1}k_i\alpha_i,\sum^t_{j=1}l_j\beta_j)=\sum^s_{i=1}\sum^t_{j=1}k_il_j(\alpha_i,\beta_j)$$ ## 2.1.2 向量的长度 ### 定义2.2 设$\alpha$是欧式空间的一个向量，非负实数$(\alpha,\alpha)$的算术根$\sqrt{(\alpha,\alpha)}$称为$\alpha$的长度，记为$\lvert \alpha \rvert$ > 重点记忆：$\lvert \alpha \rvert=\sqrt{(\alpha,\alpha)}$ ### 定理 2.1.1 设$V$是欧式空间，则对任意$\alpha,\beta \in V$及$k\in R$，有 - 齐次性：$\lvert k\alpha \rvert=\lvert k \rvert\lvert \alpha \rvert$ - 非负性：$\lvert \alpha \rvert\geq0$当且仅当$\alpha=0$时，$\lvert \alpha \rvert=0$ - 施瓦茨不等式：$(\alpha,\beta)^2\leq(\alpha,\alpha)(\beta,\beta)$，当且仅当$\alpha$与$\beta$线性相关时，等式成立 --- 长度为1的向量称为单位向量 如果$\alpha\neq0$，则有 $$\lvert \frac{\alpha}{\lvert \alpha \rvert } \rvert=\frac{1}{\lvert \alpha \rvert }\lvert \alpha \rvert=1$$ 即$\frac{\alpha}{\lvert \alpha \rvert}$是单位向量 利用非零向量$\alpha$的长度的倒数$\frac{1}{\lvert \alpha \rvert}$去乘以向量$\alpha$，使它化为单位向量的方法称为把向量$\alpha$单位化 ### 定义2.3 设$\alpha,\beta$是欧式空间中任意两个非零向量，称 $$Q=arccos\frac{(\alpha,\beta)}{\lvert \alpha \rvert \lvert \beta \rvert }$$ 为$\alpha$与$\beta$的夹角 注： - 这样定义的两个非零向量的夹角总介于0与$\pi$之间 - 零向量与其他向量的夹角是不确定的 如果欧式空间中两向量$\alpha,\beta$的内积$(\alpha,\beta)=0$，则称$\alpha$与$\beta$正交，记作$\alpha \perp \beta$ > 零向量与任意向量都正交 ### 命题1 $$\lvert \alpha + \beta \rvert \leq \lvert \alpha \rvert +\lvert \beta \rvert

证明

∣α+β∣2=(α+β,α+β)=(α,α)+2(α,β)+(β,β)≤(α,α)+2(α,α)(β,β)+(β,β)(使用了施瓦茨不等式)=(α,α)+2(α,α)(β,β)+(β,β)=∣α∣2+2∣α∣∣β∣+∣β∣2=(∣α∣+∣β∣)2\qquad{\lvert \alpha + \beta \rvert}^2=(\alpha+\beta,\alpha+\beta)\\ \quad\\ =(\alpha,\alpha)+2(\alpha,\beta)+(\beta,\beta)\\ \quad \\ \leq(\alpha,\alpha)+2\sqrt{(\alpha,\alpha)(\beta,\beta)}+(\beta,\beta)(使用了施瓦茨不等式)\\ \quad\\ =(\alpha,\alpha)+2\sqrt{(\alpha,\alpha)}\sqrt{(\beta,\beta)}+(\beta,\beta)\\ \quad\\ =\lvert \alpha \rvert^2+2\lvert \alpha \rvert\lvert \beta \rvert+\lvert \beta \rvert^2\\ \quad\\ =(\lvert \alpha \rvert + \lvert \beta \rvert)^2

即可得

+∣β∣+\lvert \beta \rvert

注：(α,β)2≤(α,α)(β,β)⇒(α,β)≤(α,α)(β,β)(\alpha,\beta)^2\leq(\alpha,\alpha)(\beta,\beta) \quad\Rightarrow\quad(\alpha,\beta)\leq\sqrt{(\alpha,\alpha)(\beta,\beta)}

命题2

∣α∣−∣β∣≤∣α−β∣\lvert \alpha \rvert - \lvert \beta \rvert \leq \lvert \alpha - \beta \rvert

证明

令α=(α−β)+β\alpha = (\alpha - \beta) + \beta，得到

∣α∣=∣(α−β)+β∣≤∣α−β∣+∣β∣\lvert \alpha \rvert=\lvert (\alpha - \beta) + \beta \rvert\leq\lvert \alpha - \beta \rvert + \lvert \beta \rvert

即

∣α∣≤∣α−β∣+∣β∣\lvert \alpha \rvert\leq\lvert \alpha - \beta \rvert + \lvert \beta \rvert

移项得

∣α∣−∣β∣≤∣α−β∣\lvert \alpha \rvert - \lvert \beta \rvert \leq \lvert \alpha - \beta \rvert

∣α−γ∣≤∣α−β∣+∣β−γ∣\lvert \alpha - \gamma \rvert \leq \lvert \alpha - \beta \rvert + \lvert \beta - \gamma \rvert

证明

∣α−γ∣=∣(α−β)+(β−γ)∣≤∣α−β∣+∣β−γ∣\lvert \alpha - \gamma \rvert = \lvert (\alpha - \beta) + (\beta - \gamma) \rvert \leq \lvert \alpha - \beta \rvert + \lvert \beta - \gamma \rvert

命题3

若α\alpha与β\beta正交，则∣α+β∣2=∣α∣2+∣β∣2\lvert \alpha + \beta \rvert^2=\lvert \alpha \rvert^2+\lvert \beta \rvert^2

证明

∣α+β∣2=(α+β,α+β)=(α,α)+2(α,β)+(β,β)\qquad{\lvert \alpha + \beta \rvert}^2=(\alpha+\beta,\alpha+\beta)\\ \quad\\ =(\alpha,\alpha)+2(\alpha,\beta)+(\beta,\beta)

因为α\alpha与β\beta正交，所以(α,β)=0(\alpha,\beta)= 0，得

∣α+β∣2=(α,α)+(β,β)=∣α∣2+∣β∣2\qquad{\lvert \alpha + \beta \rvert}^2=(\alpha,\alpha)+(\beta,\beta)=\lvert \alpha \rvert^2+\lvert \beta \rvert^2

即

∣α+β∣2=∣α∣2+∣β∣2\lvert \alpha + \beta \rvert^2=\lvert \alpha \rvert^2+\lvert \beta \rvert^2

结语

说明：

  • 参考于 课本《矩阵理论》
  • 配合书中概念讲解 结合了自己的一些理解及思考

文章仅作为学习笔记，记录从0到1的一个过程

希望对您有一点点帮助，如有错误欢迎小伙伴指正

在这里插入图片描述

avatar
文章
阅读
粉丝