专题一：线性代数基础--向量（二）一、范数与距离度量 1. 范数（Norm）定义：范数是向量空间中衡量向量长度

一、范数与距离度量

定义：范数是向量空间中衡量向量长度的函数，满足非负性、齐次性和三角不等式。

|\mathbf{v}|_1 = \sum_{i=1}^n |v_i|

|\mathbf{v}|_2 = \sqrt{\sum_{i=1}^n v_i^2}

|\mathbf{v}|_p = \left( \sum_{i=1}^n |v_i|^p \right)^{1/p}, \quad p \geq 1

性质：当 $p \to \infty$ 时，Lp范数退化为无穷范数： $|\mathbf{v}|_\infty = \max(|v_1|, |v_2|, \dots, |v_n|)$
示例：向量 $[3, -5, 2]$ 的无穷范数为 $5$ 。

定义：两向量 $\mathbf{u}, \mathbf{v}$ 之间的距离是范数的扩展，对应空间中的“间隔”。

d_1(\mathbf{u}, \mathbf{v}) = |\mathbf{u} - \mathbf{v}|_1 = \sum_{i=1}^n |u_i - v_i|

应用场景：城市导航、图像处理中像素差异计算。
示例： $\mathbf{u} = [1, 3]$ 和 $\mathbf{v} = [4, -1]$ 的曼哈顿距离为 $|1-4| + |3-(-1)| = 3 + 4 = 7$ 。

d_2(\mathbf{u}, \mathbf{v}) = |\mathbf{u} - \mathbf{v}|_2 = \sqrt{\sum_{i=1}^n (u_i - v_i)^2}

应用场景：物理空间距离、KNN分类。
示例： $\mathbf{u} = [1, 2]$ 和 $\mathbf{v} = [4, 6]$ 的欧氏距离为 $\sqrt{(1-4)^2 + (2-6)^2} = 5$ 。

d_\infty(\mathbf{u}, \mathbf{v}) = |\mathbf{u} - \mathbf{v}|_\infty = \max(|u_1 - v_1|, \dots, |u_n - v_n|)

应用场景：棋盘上国王的移动步数（任意方向一步可达）。
示例： $\mathbf{u} = [1, 5]$ 和 $\mathbf{v} = [3, 2]$ 的切比雪夫距离为 $\max(2, 3) = 3$ 。

d_p(\mathbf{u}, \mathbf{v}) = \left( \sum_{i=1}^n |u_i - v_i|^p \right)^{1/p}

定义：两向量的点积是分量乘积之和：

\mathbf{u} \cdot \mathbf{v} = \sum_{i=1}^n u_i v_i

几何定义： $\mathbf{u} \cdot \mathbf{v} = |\mathbf{u}| |\mathbf{v}| \cos\theta$ （ $\theta$ 为两向量夹角）。
推导：由余弦定理可得： $|\mathbf{u} - \mathbf{v}|^2 = |\mathbf{u}|^2 + |\mathbf{v}|^2 - 2\mathbf{u} \cdot \mathbf{v}$ 整理后得到 $\mathbf{u} \cdot \mathbf{v} = \frac{1}{2} (|\mathbf{u}|^2 + |\mathbf{v}|^2 - |\mathbf{u} - \mathbf{v}|^2)$ 。

示例：
$\mathbf{u} = [1, 2]$ 和 $\mathbf{v} = [3, 4]$ 的点积为 $1 \times 3 + 2 \times 4 = 11$ 。

定义：通过夹角余弦值衡量向量方向相似性：

\text{CosSim}(\mathbf{u}, \mathbf{v}) = \frac{\mathbf{u} \cdot \mathbf{v}}{|\mathbf{u}| |\mathbf{v}|} = \cos\theta

几何解释：

示例：
$\mathbf{u} = [1, 2]$ 和 $\mathbf{v} = [3, 4]$ 的余弦相似度为：

\frac{11}{\sqrt{1^2 + 2^2} \cdot \sqrt{3^2 + 4^2}} = \frac{11}{\sqrt{5} \cdot 5} \approx 0.98

场景：机器学习中，数据（如图像、文本）被编码为特征向量。

步骤：

案例：

计算得：

\text{CosSim}(\mathbf{a}, \mathbf{b}) \approx 0.2, \quad \text{CosSim}(\mathbf{a}, \mathbf{c}) \approx 0.7

结论：句子A与C更相似（均涉及“猫”和“液体”）。

公式推导（SVM间隔）：
分类超平面为 $\mathbf{w} \cdot \mathbf{x} + b = 0$ ，样本到超平面的距离为：

\frac{|\mathbf{w} \cdot \mathbf{x} + b|}{|\mathbf{w}|}