数学基础系列：极限与连续

本文整理一些与极限和连续有关的概念和定理。

1 实数线的拓扑

我们先从探讨“距离”的概念出发。我们知道对于$x,y\in R$，可以定义一个非负的Euclidean distance$|x-y|$。通过这个，我们可以定义某个点$x\in R$的$\varepsilon$-邻域（$\varepsilon$-neighbourhood）为集合$S(x,\varepsilon)=\{y:|x-y|\lt \varepsilon\}$，其中$\varepsilon\gt 0$。

如果对于集合$A\subseteq R$，$\forall x\in A$，都$\exists \varepsilon\gt 0$，使得该点的$\varepsilon$-邻域是$A$的子集，这样的集合$A$叫开集（open set）。$R$和$\emptyset$也都为开集。

$R$上的所有开集组成的collection，称为topology of $R$（拓扑），或者usual topology on $R$（通常拓扑）。我们还可以在$R$的子集或子空间（subspace）上讨论topology，对于$A\subseteq \mathbb{S}\subseteq R$，如果$\forall x\in A$，都$\exists S(x,\varepsilon)$，使得$S(x,\varepsilon)\cap \mathbb{S} \subseteq A$，就称$A$在$\mathbb{S}$中是开的（$A$ is open in $\mathbb{S}$）。比如$[0,1)$，在$R$中不是开的，但在$\mathbb{S}=[0,2]$中是开的。所有这些集合定义了relative topology on $\mathbb{S}$（相对拓扑），由定义直接可得以下定理。

定理：若$A$在$R$中是开的，则$A\cap \mathbb{S}$在relative topology on $\mathbb{S}$中是开的。

对于某个点$x\in R$，若$\forall \varepsilon \gt 0$，$A\cap S(x,\varepsilon)$均为非空集合，则称$x$为集合$A$的一个闭包点（closure point），它不一定是$A$中的元素。$A$的所有的闭包点组成了$A$的闭包（closure），记作$\bar A$或$(A)^-$。

对于某个点$x\in R$，若它是$A-\{x\}$的闭包点，则称它是$A$的会聚点（accumulation point）。若$x$是$A$的闭包点且$x\notin A$，则$x$也是$A$的会聚点。而那些不是会聚点的闭包点，就是$A$的孤点（isolated point）。比如集合$A=\{0\}\cup[1,2]$，则$x=0$为$A$的孤点。

若点$x\in \bar A$满足$\forall \varepsilon\gt 0$，$A^c\cap S(x,\varepsilon)$均非空，则$x$称为集合$A$的边界点（boundary point）。可以将$A$的所有边界点组成的集合记为$\partial A$，则$\bar A = A\cup\partial A$。

$A$的内部（interior）就是集合$A^o=A-\partial A$。

闭集（Closed set）就是包含了该集合自己所有的闭包点的集合，对这样的集合来说，$\bar A=A$。

定理：$R$上的开集，其补集是闭集。

这是闭集的另一个定义。可以看出，$R$和$\emptyset$都既是开集又是闭集。推广至relative topologies，有如下定理。

定理：若$A$在$\mathbb{S}\subseteq R$中是开的，则$\mathbb{S}-A$在$\mathbb{S}$中是闭的。

定理：（1）开集的collection的并是开的；（2）若$A$和$B$都是开的，那么$A\cap B$也是开的。

定理：每个开集$A\in R$都可表达为可数个不交开区间的并。

定理：$\mathscr{B}$包含了$R$中的开集和闭集。

若一个collection $\mathscr{C}$满足对于一个$A\subseteq R$，$A\subseteq \cup_{B\in\mathscr{C}}B$，则称$\mathscr{C}$为$A$的一个覆盖（covering）。若这里每个$B$都是开集，则称该覆盖为开覆盖（open covering）。

定理 （Lindelof's covering theorem）：对于由$R$上的开子集组成的任意的一个collection$\mathscr{C}$，必定存在可数的subcollection $\{B_i\in \mathscr{C}, i\in N\}$，使得

这也就是说，若$\mathscr{C}$是$R$中某个集合的覆盖，那么它必定包含了一个可数的子覆盖。这也叫Lindelof property。

由覆盖的概念，可以导出一个更重要的概念：紧致性（compactness）：若对于集合$A$，每个$A$的开覆盖都包含了一个有限的子覆盖，则称$A$是紧的（compact）。

理解这个概念的关键在于“每个”和“开覆盖”。举个例子，对于$(0,1]$，可数collection$\{(1/n,1],n\in N\}$是一个开覆盖，但没有有限的子覆盖，因此$(0,1]$不是紧的。

若$\exists x\in A$和$\varepsilon \gt 0$，$A\subseteq S(x,\varepsilon)$，则称$A$是有界的（bounded）。换句话说，有界集合必须被一个有限区间所包含。有了有界的概念，我们回到紧致性。

定理：在$R$中的一个集合是紧的，当且仅当它是闭的、有界的。

对于$A$的子集$B$，若$B\subseteq A\subseteq \bar B$，则称$B$在$A$中稠密（dense）。

定理：若$A$是$R$上的区间，$C\subseteq A$是一个可数集合，则$A-C$在$A$中稠密。

2 序列和极限

实序列（real sequence）是一个从$N$到$R$的映射，定义域中的元素称为indices，它们的值域称为序列的项/成员/坐标（terms/members/coordinates）。

称$\{x_n\}_1^{\infty}$ 收敛于（converge to）极限$x$，若$\forall \varepsilon \gt 0$，$\exists N_\varepsilon$，使得$\forall n>N_\varepsilon, |x_n-x|\lt \varepsilon$。若序列趋于$\pm\infty$则称发散（diverge），有时这也叫在$\bar R$中收敛，这是为了区别它们与那些不收敛到一个固定点的序列。

定理：任意在紧集中的单调序列均收敛。

即使序列不收敛，也可能会无限次地到达某个点。若存在子序列（subsequence）$\{x_{n_k},k\in N\}$和常数$c$，使得$x_{n_k}\to c$，则称$c$为序列的聚集点（cluster point）。比如序列$\{(-1)^n,n=1,2,\ldots\}$，可以用它的奇数位置元素和偶数位置元素分别构造出收敛子列。

子序列的概念很重要。典型的推理路线是这样的，先确定一个收敛子列（可能是单调序列），再利用序列的其他特性来说明聚集点是一个极限。由于序列的成员都是在紧集中的，一方面紧集是有界的，所以这样的序列不可能发散至无穷大，另一方面紧集又是闭的，所有的极限点或聚集点都在集合中。

定理：在$R$上的紧集中的任意序列，都有至少一个聚集点。

定理：在紧集中的序列，要不就有两个或更多的聚集点，要不就收敛。

例子：考虑序列$\{1,x,x^2,\ldots\}$，若$|x|\lt 1$则收敛于$0$，若$x=1$则收敛于$1$，若$x\gt 1$则其在$R$中发散，或者叫在$\bar R$中收敛至$+\infty$，若$x=-1$则在两个聚集点$+1$和$-1$之间摇摆，若$x\lt -1$则在$R$中发散，或者说在$\bar R$中的两个聚集点$+\infty$和$-\infty$之间摇摆。

接下来讨论实数序列。实数序列$\{x_n\}$的上极限（superior limit）定义为

类似可定义下极限（inferior limit）为

当$\limsup_n x_n$与$\liminf_n x_n$相等，序列收敛。

这几个概念可用来处理极限问题。有时候，直接假设极限存在是不合理的，但limsup和liminf是总是存在的，只需推导它们，再说明它们相等就行，另一个充分条件是$\liminf_n x_n\gt \limsup_n x_n$，也可以推出极限存在。

对于实数序列，有一个判断收敛的Cauchy准则（Cauchy criterion）：$\{x_n\}$收敛，等价于，$\forall \varepsilon\gt 0$，$\exists N_\varepsilon$，使得对于$n\gt N_\varepsilon$，$m\gt N_\varepsilon$，有$|x_n-x_m|\lt \varepsilon$。满足这个条件的，也叫Cauchy序列（Cauchy sequence）。满足本节开头对收敛的定义的数列必为Cauchy数列，实数Cauchy数列也必定有极限，两种极限的定义在$R$上等价。但Cauchy准则在很多时候更容易检验。

在集合$A$中的Cauchy序列，它的极限是$A$的会聚点；反之，每个$A$的会聚点$x$，都存在极限为$x$的Cauchy序列。因此，极限点（limit point）有时是会聚点（accumulation point）的同义词。

定理：任意实数都是某个有理数Cauchy序列的极限。

该定理意味着，任一实数的任一$\varepsilon$-邻域中，必定存在一个有理数，即$Q$在$R$中是稠密的。另外，$Q$的补集$R-Q$也是稠密的，因此，正常人的直觉“稠密的集合的补集是稀疏的”是错误的。

定理：任意开区间都是某个端点为有理数的闭子区间序列的极限。

这说明了，开集序列的极限不一定是开的，闭集序列的极限不一定是闭的。但是，非递减的开集序列的极限是开的，非递增的闭集序列的极限是闭的。

3 函数和连续

本节讨论函数及其连续性的概念。现有一个在实变量上的函数$f: \mathbb{S}\mapsto \mathbb{T}$，$\mathbb{S}\in R$，$\mathbb{T}\in R$，对于“连续性”（continuity），$f$在$x\in\mathbb{S}$处连续的正式定义为：$\forall \varepsilon \gt 0$，$\exists \delta \gt 0$，使得只要$|y-x|\lt \delta$就有$|f(y)-f(x)|\lt \varepsilon$。若$f$在$\mathbb{S}$的每个点上都连续，则称它在$\mathbb{S}$上连续。

定理：假设$f: \mathbb{S}\mapsto \mathbb{T}$在$\mathbb{S}$的所有点上连续，那么，若$A$在$\mathbb{T}$上是开的则$f^{-1}(A)$在$\mathbb{S}$上是开的，若$A$在$\mathbb{T}$上是闭的则$f^{-1}(A)$在$\mathbb{S}$上是闭的。

注意，这条定理没有说，若$A$是开的则$f(A)$是开的。如果一个映射满足若$A$是开的则$f(A)$是开的，可以称为开映射（open mapping）。由于$f(A^c)\neq [f(A)]^c$，因此开映射未必是闭映射（closed mapping）。但有一种特殊的函数，就是同胚（homeomorphism）。同胚是这样的一种函数，它是$1$-$1$ onto（满射、单射）、连续，并且反函数也连续。若$f$为同胚，则$f^{-1}$也是同胚，同胚既是开映射，又是闭映射。

目前我们定义的连续，是关于函数在某个点处的性质，并不是函数自身的性质，为此还需要引入一致连续（uniformly continuous）的概念：$\forall x,y\in \mathbb{S}$，$\forall \varepsilon\gt 0$，$\exists \delta\gt 0$，使得，只要$|x-y|\lt \delta$，就有$|f(x)-f(y)|\lt \varepsilon$。

定理：如果一个函数在紧集$\mathbb{S}$上处处连续，则它在$\mathbb{S}$上必定是有界且一致连续的。

连续性是关于函数光滑性（smoothness）的最弱的概念，另外还有Lipschitz条件、可微、有界变差等概念。

我们来看Lipschitz条件（Lipschitz condition）：对于某个$\delta\gt 0$，$\forall y\in S(x,\delta)$，若$\exists M\gt 0$，使得$|f(y)-f(x)|\leq Mh(|x-y|)$，其中$h:R^+ \mapsto R^+$满足当$d\downarrow 0$时$h(d)\downarrow 0$，则称函数$f$在点$x$处满足Lipschitz条件。若固定$M$，$\forall x,y\in \mathbb{S}$上面的条件都成立，则称$f$满足一致Lipschitz条件（uniform Lipschitz condition）。

可微（diffrentiable）也是一种光滑性的概念。

当定义域是区间时，另一个光滑性的概念是有界变差（bounded variation）。若$\exists M\lt \infty$，使得，对于区间$[a,b]$，任意一种用有限个点$a=x_0\lt x_1\lt \cdots\lt x_n = b$产生的划分，满足$\sum_{k=1}^{n} |f(x_i)-f(x_{i-1})|\leq M$，则称函数$f$是有界变差的。

定理：$f$是有界变差的，当且仅当存在非递减函数$f_1$和$f_2$使得$f=f_2-f_1$。

另外，在$[a,b]$上由$h(|x-y|)=|x-y|$满足一致Lipschitz条件的函数，在$[a,b]$上是有界变差的。

4 向量向量与函数

以上几节的结论，一般都可推广到$R^k$空间上。

定理：现有$f:\mathbb{S}\mapsto\mathbb{T}$，其中$\mathbb{S}\in R^k$，$\mathbb{T}\in R^m$，当且仅当$f$是连续的时，有：若$A$在$\mathbb{T}$上是开的则$f^{-1}(A)$在$\mathbb{S}$上是开的，若$A$在$\mathbb{T}$上是闭的则$f^{-1}(A)$在$\mathbb{S}$上是闭的。

5 函数的序列

取函数$f_n:\Omega \mapsto \mathbb{T}$，其中$\mathbb{T}\in R$，$\Omega$可以是任意集合（不一定是$R$的子集），则$\{f_n,n\in N+\}$就是函数的序列。

若存在一个$f$，$\forall \omega\in\Omega$，$\forall \varepsilon\gt 0$，$\exists N_{\varepsilon \omega}$，使得当$n\gt N_{\varepsilon \omega}$时必有$|f_n(\omega)-f(\omega)|\lt \varepsilon$，则称$f_n$在$\Omega$上逐点收敛于$f$（converge to $f$, pointwise on $\Omega$）。

同理，我们可以定义函数序列的一致收敛（uniform convergence）：若存在一个$f$，使得$\forall \varepsilon \gt 0$，都$\exists N$使得当$n\gt N$时有$\sup_{\omega\in\Omega} |f_n(\omega)-f(\omega)|\lt \varepsilon$，则称$f_n$在$\Omega$上一致收敛于$f$（converge to $f$ uniformly on $\Omega$）。

6 Summability与序关系

对于实数序列$\{x_n\}_1^{\infty}$，它的项的和称为级数（series），写为$\sum_{n=1}^{\infty} x_n$（或$\sum x_n$）。序列$\{\sum_{m=1}^{n} x_m,n\in N+\}$称为级数的部分和（partial sums）。对于一个级数来说，若部分和收敛于有限的极限，则称该级数收敛。另外，若单调序列$\{\sum_{m=1}^{n} |x_m|,n\in N+\}$收敛，则称对应的级数绝对收敛（converge absolutely）。

比如几何级数（geometric series）$\sum_{j=1}^{\infty} x^j$，若$|x|\lt 1$则它收敛于$1/(1-x)$，且它也是绝对收敛的，若$x=-1$则它在两个聚集点$-1$和$0$之间摇摆，若$x$取其他值则它发散。

定理：若级数绝对收敛，则它必收敛。

对应的一个术语叫summability，有时翻译成可求和性，但它是对应于数列的。若级数$\sum x_n$收敛则称$\{x_n\}_1^{\infty}$是summable，若$\{|x_n|\}_1^{\infty}$是summable则称$\{x_n\}_1^{\infty}$是absolutely summable。Summable序列必定收敛于$0$，反之不然，除非尾部和（tail sums）收敛于$0$，这是个充要条件，见下面定理。

定理：$\{x_n\}_1^{\infty}$是summable，当且仅当$n\to\infty$时有$\sum_{m=n}^{\infty} x_m\to 0$。

还有一个比普通的收敛更弱的概念：若$\{n^{-1}\sum_{m=1}^{n} x_m\}_{1}^{\infty}$收敛，则称$\{x_n\}_1^{\infty}$是Cesaro-summable的。

定理：若$\{x_n\}_1^{\infty}$收敛于$x$，则它的Cesaro和（Cesaro sum）也收敛于$x$。

注意，不收敛的序列也可能是Cesaro-summable的，比如序列$\{(-1)^n\}_0^{\infty}$，它不收敛，它的Cesaro和收敛于$0$，它的部分和序列$\{\sum_{m=0}^{n}(-1)^m\}_0^{\infty}$的Cesaro和收敛于$1/2$。

记号$x_n\sim a_n$表示，$\exists N\gt 0,A\gt 0, B\geq A$，使得$\inf_{n\geq N}(x_n / a_n)\geq A$，$\sup_{n\geq N}(x_n / a_n)\geq B$。下面是有关收敛速率的定理。

定理：$\{x_n\}$为正的实数序列，$x_n\sim n^{\alpha}$，则

• 若$\alpha \gt -1$，则$\sum_{m=1}^{n} x_m\sim n^{1+\alpha}$；
• 若$\alpha = -1$，则$\sum_{m=1}^{n} x_m \sim \log n$；
• 若$\alpha \lt -1$，则$\sum_{m=1}^{n} x_m \lt \infty$且$\sum_{m=n}^{\infty} x_m=O(n^{1+\alpha})$。

事实上，$x_n\sim n^{\alpha}$就意味着存在$A\gt 0$和$B \geq A$，使得$A\sum_{m=N}^{n}m^\alpha \leq \sum_{m=N}^{n}x_m \leq B\sum_{m=N}^{n}m^\alpha$，而$n\to\infty$时$\sum_{m=1}^{n} m^\alpha$的极限值，就是以$\alpha$为参数的Riemann Zeta函数，其中$\alpha\lt -1$。

若对于$x\gt 0$和$-\infty\lt\rho\lt \infty$，当$v\to\infty (0)$时，有$U(vx)/U(v)\to x^\rho$，则称$U$是regularly varying at infinity (zero)。若对于$x\gt 0$，当$v\to\infty (0)$时，有$L(vx)/L(v)\to 1$，则称$L$是slowly varying at infinity (zero)。显然，一个regularly varying函数$U$可以写作$U(v)=v^\rho L(v)$，其中$L$是slowly varying的。举个例子，$(\log v)^\alpha$对于任意$\alpha$都是slowly varying at infinity。

这两种函数都定义在实数上，但也可以限制在$N^+$上，这样就可以将它们的概念引入到正数序列上。

定理：若$L$是slowly varying at infinity，则$\forall \delta\gt 0$，$\exists N\geq 1$，使得$\forall v\gt N$，都有$v^{-\delta} \lt L(v) \lt v^{\delta}$。

推论：若$x_n=O(n^\alpha L(n))$，则$\sum_{n=1}^{\infty} x_n \lt\infty$，这对于任意的$\alpha \lt -1$和slowly varying at infinity的函数$L(n)$都成立。

定理：若$x_n\sim 1/[n(\log n)^{1+\delta}]$，$\delta\gt 0$，则$\sum_{n=1}^{\infty} x_n \lt\infty$。若$\delta =0$，则$\sum_{n=1}^{\infty} x_n \sim \log\log n$。

定理（Feller，1971）：若正的单调函数$U(v)$满足$\forall x\in D$，$\dfrac{U(vx)}{U(v)}\to\Psi(x)$，其中$D$在$R^+$上稠密，$0\lt \Psi(x)\lt \infty$，则必有$\Psi(x)=x^\rho$，其中$-\infty\lt \rho\lt\infty$。

定理：单调的regularly varying的函数的导数，必定regularly varying at $\infty$。

7 Arrays

所谓array，就是定义域为可数的linearly ordered的集合的Cartesian product（或它的子集）的映射。

有限个序列组成的collection$\{\{x_{nt},t=1,\ldots,k_n\},n\in N^+\}$，$n\to\infty$时有$k_n \uparrow \infty$，称这样的collection为triangular array。

Toeplitz's Lemma：假设$\{y_n\}$是实数序列，$y_n\to\infty$，若$\{\{x_{nt},t=1,\ldots,k_n\},n\in N^+\}$为triangular array，并且

1. 对于每个固定的$t$，当$n\to 0$时，$x_{nt}\to 0$；
2. $\lim\limits_{n\to\infty}\sum\limits_{t=1}^{k_n} |x_{nt}| \leq C \lt \infty$；
3. $\lim\limits_{n\to\infty}\sum\limits_{t=1}^{k_n} x_{nt} = 1$，

则$\sum_{t=1}^{k_n} x_{nt} y_n \to y$。对于$y=0$，条件3可忽略。

满足上述引理的条件的一个典型例子就是$x_{nt}=(\sum_{s=1}^{n} y_s)^{-1}y_t$，其中$\{y_t\}$为正数序列且$\sum_{s=1}^n y_s\to \infty$。

Kronecker's Lemma：考虑正数序列$\{a_t\}_1^\infty$和$\{x_t\}_1^\infty$，其中$a_t\uparrow\infty$，若当$n\to\infty$时，$\sum_{t=1}^{n} x_t/a_t\to C\lt \infty$，则$\dfrac{1}{a_n}\sum_{t=1}^{n}x_t\to 0$。

关于array的收敛性，可以理解为在序列上的概念延伸。考虑子序列$\{\{x_{m{n_k}}, k\in N^+\},m\in N^+\}$，其中$\{n_k,k\in N^+\}$是正整数的递增序列。若$x_m = \lim_{k\to\infty} x_{m n_k}$对于每个$m\in N^+$都存在，则称array就是收敛的，它的极限就是无穷序列$\{x_m,m\to\infty\}$，至于这个序列是否收敛，那就是另外一个问题了。

现在考虑一个有界array即$\sup_{k,m} |x_{m{n_k}}|\leq B\lt \infty$，由前文定理可知，$R$上紧集中的任意序列必有至少一个聚集点，可将$\{x_{m{n_k}},k\in N^+\}$的某个聚集点记为$x_m$，这是对于array内部的序列来说的聚集点。那么，对于整个array来说，它有聚集点吗？有如下定理。

定理：对于任一有界array $\{\{x_{m{n_k}}, k\in N^+\},m\in N^+\}$，都存在一个对应的的序列$\{x_m\}$，它是当$k\to\infty$时$\{\{x_{m{n_k^*}}, k\in N^+\},m\in N^+\}$的极限，其中$\{n^*_k\}$是$\{n_k\}$的子序列，且对于每个$m$都相同。

参考文献

• Davidson, J., 1994. Stochastic limit theory: An introduction for econometricians. OUP Oxford.