重启机器学习基础知识—范数

「这是我参与11月更文挑战的第2天，活动详情查看：2021最后一次更文挑战」

其实范数在正则化和 KNN 聚类问题都出现其身影，所以想要聊一聊什么是范数，接下来内容希望帮助你能够理解范数。

范数

有时候为了便于理解，可以把范数当作距离来理解。不过范数是一种强化了的距离概念，范数在定义上比距离多了一条数乘的运算法则。

范数在机器学习重要性

机器学习模式识别问题通常都存在于欧式空间，那么什么事欧式空间，在欧式空间我们衡量向量之间关系可能是距离。我们知道距离的定义是一个宽泛的概念，只要满足非负、自反、三角不等式就可以称之为距离。这些条件将我们问题约束在一个欧式空间范围内。

还有范数是一个描述向量大小的量，这里聊向量有区别于我们在物理学中研究的向量，简单理解为用一组数字表示的东西，在机器学习中，高维数据都以向量表示。

屏幕快照 2021-11-02 下午2.50.01.png 如上图假设我们有一个向量 $v_1(4,3)$ 通过计算其 l2 范数也就是欧式距离 $\sqrt{4^2 + 3^2} = 5$ 对于 $v_2(-1,1)$ 点其欧式距离为 $\sqrt{(-1)^2 + (1)^2} = 2$

对于 $v_1$ 和 $v_2$ 的l1范数这是 $|4| + |3| = 7$ 和 $|-1| + |1| = 2$

屏幕快照 2021-11-02 下午3.00.39.png

在上图中，位于左上图为 l1 范数为 1 所有点所形成的图形，也就是在橘黄色上线点都是范数为 1 的点，上中图为 l2 范数为 1 点所形成的图像，也就是一个圆形。当 $l_{\infty}$ 范数为 1 所组成点形成一个正方形，从 l2 开始随着逐渐增加，对应范数为 1 图形逐渐从圆形趋近正方形，范数一个一般表达式。

l_p = (\sum_{i=1}^k |x_i|^p)^{\frac{1}{p}}

l1 范数

||x||_1 = |x_1| + |x_2| + \cdots + |x_k|

l2 范数

||x||_1 = \sqrt{ |x_1|^2 + |x_2|^2 + \cdots + |x_k|^2}