空间

一只小鲤鱼
154 阅读8分钟

前言

我曾经怀疑过，两个向量a,ba,b 的合向量 cc 为什么要这样计算，

c=(a0+b0,a1+b1)c = (a_0+b_0, a_1+b_1)

为什么 cc 的各项是 aa 与 bb 对应项相加？高中老师告诉你这么算没错，但你有没有过这样的疑问：到底是谁规定要这么算的？为什么 (a0+b1,a1+b0)(a_0+b_1, a_1+b_0) 就是错的，凭什么？

其实答案也很简单，因为我们的宇宙正是这样计算的。比如两个力的合力大小，就是和向量的大小；两个速度的合速度，就是合向量。

为了研究这种运算规则，以及元素之间的关系，我们发明了空间。在一个特定的空间里，这个空间的所有元素必须服从空间的法则。上面的例子，就是线性空间的一条运算法则。所以所谓空间不是指什么二维三维，也不是qq空间，而是一种代数系统。

好事的数学家开始思考，我们如何根据我们的观察来描述这个世界？这个世界，是个什么空间？让我们一步一步来。

注：本文大部分内容来自王维克教授的公开课，真是好课我怎么没有早点发现。

1. 度量空间

首先我们发现，这个世界是存在「距离」的，并且这个距离有三个性质。Mathematically, 给定非空集 MM，用 d(x,y)d(x, y) 表示 xx 与 yy 之间的距离， 并且 d(x,y)d(x, y) 是一个实数。

a. 正定性（非负性+唯一性）

d(x,y)≥0,d(x,x)⇔x=0d(x, y)\ge 0, d(x, x) \Leftrightarrow x=0

b. 对称性

d(x,y)=d(y,x)d(x, y) = d(y, x)

c. 三角不等式

d(x,z)≤d(x,y)+d(y,z)d(x, z) \le d(x, y) + d(y, z)

同样，满足这三条规则的 dd 就被称为距离, d(⋅)d(\cdot ) 被称为距离函数。在这里，我们定义了距离，赋予距离的集合被称为度量空间，记作(M,d)(M, d)。

2. 线性空间

根据我们的观察，计算合速度和合力都可以用分量相加的方法，于是我们总结出一条规律，并把这个规律叫做线性结构，由此产生的空间就叫做线性空间。Mathematically, 设 XX 是一非空集合，

a. 加法

对任意 x,y∈Xx, y \in X, 存在 u∈Xu\in X 与之对应，记为 u=x+yu=x+y， 称之为 xx 与 yy 的和，满足，

  1. （向量加法交换律） x+y=y+xx+y=y+x
  2. （向量加法结合律） (x+y)+z=x+(y+z)(x+y)+z=x+(y+z)
  3. （向量加法有零元） 在 XX 中存在唯一元素 θ\theta ，使对任意 xx，有 x+θ=xx+\theta = x 成立，称 θ\theta 为 XX 中的零元素
  4. （向量加法有负元） 对任意元素 xx，存在唯一元素 x′∈Xx^{'} \in X，使 x+x′=θx+x^{'} = \theta ，称 x′x^{'} 为 xx 的负元素，记为 −x-x

b. 乘法

对任意 x∈Xx\in X, 以及任意实数（或复数）aa，存在 u∈Xu\in X 与之对应，记为 u=axu=ax， 称为 aa 与 xx 的数积，满足，

  1. （标量乘法单位元）1x=x1x=x
  2. （标量乘法与标量的域乘法相容）a(bx)=(ab)xa(bx)=(ab)x
  3. （标量乘法对域加法有分配律）(a+b)x=ax+bx(a+b)x=ax+bx
  4. （标量乘法对向量加法有分配律）a(x+y)=ax+aya(x+y)=ax+ay

一共八条，满足这八条的集合 XX 被称为线性空间， xx 被称为向量。其中，向量 x∈Rnx\in \mathbb{R}^n 的加法定义为对应元素相加，标量乘法定义为对应元素相乘。这样的定义不仅描述了自然界，也满足由之而生的八条法则。由此可以看到，是因为自然界告诉我们向量应该相加，于是数学家根据自然界的提示总结出线性空间这个东西，最后写在了我们的课本上，告诉你“线性空间的加法是对应相加”。

3. 线性度量空间

很简单，就是这个空间既是度量空间又是线性空间。

3. 范数空间

有了线性度量空间之后，人们发现它相较于真实世界依旧缺少了东西，线性度量空间中的向量缺少平移不变性和相似性。Mathematically，对线性度量空间中的任意元素 xx 和 yy，我们加入

d. 平移不变性

d(x+z,y+z)=d(x,y)d(x+z, y+z) = d(x, y)

e. 相似性

d(λx,λy)=∣λ∣d(x,y)d(\lambda x, \lambda y) = |\lambda |d(x, y)

进一步，我们这样想，距离函数刻画的是两个元素之间的关系，但是我们不如再抽象一点，把这个元素对作为一个新的元素，对应的空间也变成了一个新的空间，这个空间是用来刻画元素本身的，而不再是两个元素。于是我们可以把度量空间中的三条，和刚才加上的两条，统一写成三条，即

对新集合 MM 中的元素 x,yx, y 我们有，

a. 正定性（非负性+非退化性）

∣∣x∣∣≥0,∣∣x∣∣=0⇔x=0||x||\ge 0, ||x||=0 \Leftrightarrow x=0

b. 相似性

∣∣ax∣∣=∣a∣⋅∣∣x∣∣||ax||=|a|\cdot ||x||

c. 三角不等式

∣∣x+y∣∣≤∣∣x∣∣+∣∣y∣∣||x+y||\le ||x||+||y||

现在我们丢掉了距离函数 dd，定义了范数，称 ∣∣⋅∣∣||\cdot || 为 MM 上的范数， 赋予范数的空间叫做赋范空间，范数空间记作 (M,∣∣⋅∣∣)(M, ||\cdot ||)。可以看到，度量定义了距离，而范数定义了长度（到零点的距离）， 自然，差的长度就是距离。

所谓 “赋予范数”，就是进一步定义了范数如何计算，这得看它作用的空间是什么。比如在线性赋范数空间中，最常见的范数计算方法是对应元素相减的平方再相加再开方，即 ∑(xi−yi)2\sqrt{\sum{(x_i-y_i)^2}}，也叫做 l2l2 范数。我们还看到有很多种范数，l1l1 范数, l2l2 范数, pp 范数, 和 ∞\infty 范数。它们测量的都是元素间的距离，只不过用了不同的尺子。虽然具体的计算方法不同，但都满足范数的定义。

范数和度量都描绘了空间的拓扑结构，即如何比较空间中两元素的差异和距离。范数可以作为一种距离，因为范数的定义满足了距离的定义，我们把这样的距离称为范数诱导的距离。

4. 线性赋范空间

线性空间+范数空间

5. 内积空间

赋范线性空间已经很像真实世界了，但是少一个东西，就是它无法描述两个向量之间的夹角。于是我们引入内积这个概念用来计算角度大小。Mathematically, 对任意集合 MM 的元素 x,yx, y，设 x⋅y∈Rx\cdot y\in R， 且满足，

a. 对称性

x⋅y=y⋅xx\cdot y = y\cdot x

b. 对第一变元的线性性

(ax+by)⋅z=a(x⋅z)+b(y⋅z)(ax+by)\cdot z = a(x\cdot z)+b(y\cdot z)

c. 正定性（非负性+唯一性）

x⋅x≥0,x⋅x⇔x=0x\cdot x \ge 0, x\cdot x \Leftrightarrow x=0

则称 x⋅yx\cdot y 是 MM 上的内积。

这里我们定义了内积，一个被赋予内积的空间就叫做内积空间。被赋予了内积的线性赋范空间，就叫做欧几里得空间。这就是我们经典世界的样子！注意，内积是可以定义出范数的。

在欧几里得空间中，两向量的内积被定义为，

x⋅y=∑i=1nxi,yix\cdot y = \sum_{i=1}^{n}{x_i, y_i}

6. 希尔伯特空间

有好事者不满足于欧几里得空间，偏要考虑无穷维向量，于是我们有了希尔伯特空间。希尔伯特空间还有很多条件，综合来说，希尔伯特空间=完备性+无穷维向量+内积空间+赋范线性空间。

所谓完备性，就是其中的Cauchy序列收敛在空间里。既然它收敛了，那么我们就可以import微积分了啊！

7. 巴拿赫空间

同样，取赋范线性空间的完备空间，就变成了巴拿赫空间。巴拿赫空间=完备性+赋范线性空间，很明显，这个空间要比希尔伯特空间大，因此也更难研究。

8. 拓扑空间

有好事的数学家又说，有时候我们是不需要距离这个概念的，就是不需要度量空间。比如一个班50个人有50个学号，但开头都是7因为这是7班，那么你说722比702要大吗？在这个例子中，尽管我们用数字标记每一个人，但它的顺序却是无关紧要的。

本质上说，这就关系到我们如何定义「连续」了。比如在整数域中，702后面接703我们说它是连续的，但在班级中，连续的概念应该来自于开头的7，而不是后面的数。Mathematically,

一般的连续的定义：

∀ε>0,∃δ>0\forall \varepsilon >0, \exist \delta >0
∣x−x0∣<δ⇒∣f(x)−f(x0)∣<ε|x-x_0|<\delta \Rightarrow |f(x)-f(x_0)|<\varepsilon

拓扑连续：

设 O(x0,δ)O(x_0, \delta) 为 x0x_0 的邻域；O(f(x0),ε)O(f(x_0), \varepsilon) 为 f(x0)f(x_0) 的邻域；x0∈D⊂Rx_0\in D \subset R，那么连续可以定义为，

∀ε>0,∃δ>0\forall \varepsilon >0, \exist \delta >0
f(O(x0,δ)∩D)⊂O(f(x0),ε)f(O(x_0, \delta)\cap D)\subset O(f(x_0), \varepsilon)

即映射 f:M1→M2f:M_1\rightarrow M_2 是连续的，等价于，对 ∀M2\forall M_2 中的开集 UU，有 f−1(U)f^{-1}(U) 是M1M_1中的开集。即开集可以定义连续。

那么什么是拓扑空间呢？Mathematically, 设 XX 是任一集合 τ⊂2X\tau \subset 2^{X} （即τ\tau 是 XX 子集的集合），若满足，

  1. τ\tau 内任意个集合的并仍属于τ\tau
  2. τ\tau 内有限个集合的交仍属于τ\tau
  3. XX 和空集仍属于τ\tau

则称 τ\tau 是 XX 的一个拓扑，拓扑空间记作(X,τ)(X, \tau)。数学真好玩，但是不研究了，机器学习应该还没到拓扑空间。

总结

总的来说，空间包括两个部分，第一个是空间规则，第二个是拓扑结构。所谓空间规则就是定义空间内的元素如何运算，比如线性；拓扑结构定义了空间内元素的距离，即空间的几何特征。

比如在度量空间中，有了距离这个拓扑，我们就可以定义极限；有了极限，我们就可以定义连续，随后就可以做很多事情。空间结构给出了一个空间的基本成分，拓扑结构相当于给空间附魔了

拓扑空间的前置技能是拓扑学，进阶是点集拓扑，代数拓扑，微分拓扑；希尔伯特空间和巴纳赫空间的进阶是泛函分析，其中研究了无穷维的情况。遇到了再补充。SVM要用到希尔伯特空间，讲SVM的时候再跟进。

以上讨论过的空间的关系，来自知乎：

v2-be26b2ba1df2edc9636647a28b22238d_r.jpg

Reference

上海交通大学公开课：数学之旅-函数空间-网易公开课 (163.com)

浅谈度量空间（metric space） - 知乎 (zhihu.com)

从度量空间到拓扑空间 - 知乎 (zhihu.com)

矩阵论学习笔记8-赋范线性空间与范数 · Flyaway's Blog (zhouyichu.com)

数学手册|赋范空间概念-小新xx (lhyxx.top)

如何理解希尔伯特空间？ - TimXP的回答 - 知乎

数学概念（集合，数环，数域，线性空间，线性变换） - 小比丘 - 博客园 (cnblogs.com)

avatar
文章
阅读
粉丝