【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（9）：正交补与投影定理

海轰Pro
192 阅读3分钟

「这是我参与2022首次更文挑战的第19天，活动详情查看：2022首次更文挑战」。

@TOC

在这里插入图片描述

前言

Hello！小伙伴！ 非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～   自我介绍 ଘ(੭ˊᵕˋ)੭ 昵称：海轰 标签：程序猿｜C++选手｜学生 简介：因C语言结识编程，随后转入计算机专业，有幸拿过一些国奖、省奖...已保研。目前正在学习C++/Linux/Python 学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！   机器学习小白阶段 文章仅作为自己的学习笔记 用于知识体系建立以及复习 知其然 知其所以然！

往期文章

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（1）：集合与映射

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（2）：线性空间定义及其性质

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（3）：线性空间的基与坐标

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（4）：基变换与坐标变换

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（5）：线性子空间

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（6）：子空间的交与和

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（7）：欧氏空间

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（8）：标准正交基与Gram-Schmidt过程

2.3 正交补与投影定理

2.3.1 正交补

定义2.6

设WW是欧氏空间VV的一个非空子集，α\alpha是VV中的一个向量

若∀β∈W\forall\beta \in W，都有α⊥β\alpha\perp\beta，称α\alpha与子集WW正交，记为α⊥W\alpha\perp W

对于VV中两个非空子集W1,W2W_1,W_2，如果任取α∈W1\alpha\in W_1,任取β∈W2\beta\in W_2

都有α⊥β\alpha\perp\beta，那么称W1W_1与W2W_2相互正交，记为W1⊥W2W_1\perp W_2

关于子集WW，可做集合

W⊥={α｜α∈V,α⊥W}W^{\perp}=\{\alpha ｜\alpha \in V, \alpha \perp W\}

其中，W⊥W^{\perp}也是VV的一个子空间

证明

显然0∈W⊥0\in W^{\perp}，所以W⊥W^{\perp}是非空集

线性空间、子空间首先要求必须为非空集

若有α,β∈W⊥\alpha,\beta \in W^{\perp}，对于任意γ∈W\gamma \in W，都有

(α+β,γ)=(α,γ)+(α,γ)=0+0=0(\alpha + \beta, \gamma)=(\alpha,\gamma) + (\alpha, \gamma)=0+0=0

即

(α+β,γ)=0(\alpha + \beta , \gamma) = 0

得到

α+β∈W⊥\alpha + \beta \in W^{\perp}

因为：若α∈W⊥,β∈W\alpha \in W^{\perp}, \beta \in W，有(α,β)=0(\alpha, \beta)=0   反之：若β∈W,(α,β)=0⇒α∈W⊥\beta \in W,(\alpha,\beta)=0 \Rightarrow \alpha \in W^{\perp}

设k∈Rk\in R，有

(kα,γ)=k(α,γ)=k0=0(k\alpha,\gamma)=k(\alpha,\gamma)=k0=0

同理可得

kα∈W⊥k\alpha \in W^{\perp}

综上，W⊥W^{\perp}是VV的一个子空间

定义2.7

设W1,W2W_1,W_2是欧氏空间VV的两个字空间，且满足

  • V=W1+W2V=W_1 + W_2
  • W1⊥W2W_1 \perp W_2

则称VV有一个正交直和分解，并把W2W_2叫做W1W_1的正交补，记为W1=W⊥W_1=W^{\perp}

V=W1+W1⊥V=W_1 + W_1^{\perp}   W1∩W2={0}W_1 \cap W_2=\{0\}

定理2.3.1

设WW是nn维欧氏空间VV的任意一个子空间，则一定存在WW的正交补W⊥W^{\perp}，使V=W+W⊥V=W+W^{\perp}

由此定理可知，∀α∈V，α=αW+αW⊥\forall \alpha \in V，\alpha = \alpha_W + \alpha_{W^{\perp}}

  • αW∈W\alpha_W\in W，αW\alpha_W：α\alpha沿着W⊥W^{\perp}在WW上的正交投影
  • αW⊥∈W⊥\alpha_{W^{\perp}}\in W^{\perp}，αW⊥\alpha_{W^{\perp}}：α\alpha沿着WW在W⊥W^{\perp}上的正交投影

2.3.2 投影定理

定义2.8

设W为欧氏空间V中的非空子集，α∈V\alpha\in V，若w0∈Ww_0\in W，满足下述等式

∣α−w0∣=inf∣α−w∣(w∈W)\lvert \alpha - w_0 \rvert =inf\lvert \alpha - w \rvert\quad(w \in W)

称w0w_0是α\alpha在WW上的最佳逼近

定理2.3.2（最佳逼近特征）

设WW为欧氏空间V的子空间，α∈V\alpha\in V，则w0∈Ww_0\in W为α\alpha在WW上的最佳逼近的充要条件是

若α=αw+αw⊥,有αw=w0若\alpha = \alpha_w + \alpha_{w^{\perp}},有\alpha_w = w_0

结语

说明：

  • 参考于 课本《矩阵理论》
  • 配合书中概念讲解 结合了自己的一些理解及思考

文章仅作为学习笔记，记录从0到1的一个过程

希望对您有一点点帮助，如有错误欢迎小伙伴指正

在这里插入图片描述

avatar
文章
阅读
粉丝