【学习笔记】基与核的故事 - 1 基函数

这是我参与11月更文挑战的第2天

原文链接

基的概念

世间万物皆可用一些基础元素的组成来表达，例如水是由氢和氧组成的。类似的，基是通过一个简单而统一的方式来表示各类事物。

在一个$R^n$（R表示实数）空间中，任何向量可以用n个线性无关向量的线性组合来表示，而这n个线性无关向量可以被看作一组基，在$R^n$空间中存在无限个集组。

其中，互相正交的基向量含有特殊的意义。例如$\{e_i\}^n_{i=1}$是一个特殊集组，它具有相同长度互相正交的基向量，其中$e_i$是一个除了第i项为1以外其余全为0的向量。

正交向量

指内积为0的两个或多个向量，几何意义上来说指向量互相垂直，向量内积表示的是一个向量在另一个向量方向上的投影长度，内积计算结果为标量。 补充知识：向量内积和外积的算法和几何意义。

基函数

如下图所示，一个函数是一个无限向量。

对于定义在区间[a,b]上的一个函数，使用间隔$\Delta x$来取样本。若对函数$f(x)$在点$\{a,x_1,..,x_n,b\}$进行采样，这个函数可以转换为一个向量$(f(a),f(x_1),...,f(x_n),f(b))^T$。当$\Delta x\rightarrow 0$时，该向量会越来越接近于原函数，最终变为无穷大。（即当趋近于0时样本分割的间隔会越来越小，最终取到的样本和原函数一致）

上述的分析假设x为一个实数，而当x为一个向量时，它依旧适用。接下来用$\mathbf{x}$来表示$R^n$空间中的一个向量，用$f$表示函数本身即无穷向量，用$f(\mathbf{x})$来表示函数在点$\mathbf{x}$处求得的值，函数值应为实数。

由于函数和向量非常接近，所以可以使用同样的方法定义函数的内积。对于两个函数$f$和$g$，它们由$\Delta x$分割，其内积可以定义为：

对于一个向量，其维度是离散的，而对于一个函数维度是连续的，因此使用相邻维度的差值（即$\Delta x$）来做标准化。

函数的内积随处可见，在不同情况下表达不同的意义。例如，假设$X$是一个连续的随机变量并有概率密度函数$f(x)$，且$f(x)>0,\int f(x)dx=1$，则其期望为：

类似于向量基，一组函数可以用来表达其他函数，区别在于在向量空间中仅需要有限个向量来构造一个完整的基组，而在函数空间中，则可能需要无限个基函数。如果两个函数的内积为零，则认为它们是正交的，在函数空间中也可以有一组相互正交的函数基。