KNN算法--基本分类和回归方法

文章正文第一句：本文已参与掘金创作者训练营第三期「高产更文」赛道，详情查看：掘力计划｜创作者训练营第三期正在进行，「写」出个人影响力。 ​

KNN算法--基本分类和回归方法。

1. 是什么

给定一个训练数据集(test_set)

对新的输入实例

在训练集(train_set)中找到与该实例距离最近的k个数据集

这k个数据集的大多数属于哪个类型的，那么这个实例就是那个分类。 如图一所示

​

举一个不恰当的例子：如果你的身边都是百万富翁，那你的资产大概率也不少。

2. k值的选取以及影响

​

2.1 k值过小，导致过拟合

如图所示,当k值选择最小为1时，五边形直接属于黑色，但你从感官上看五边形应该属于方块啊。这就是过拟合。

2.2 k值过大，模型简单，预测失误

极端的例子：选取整个训练集的长度为k值。你会发现五边形永远属于个数最多的类别。

2.3 特征归一化

首先我们先来看这样一个例子： 5个训练样本：

序号	身高	体重	分类
1	179	42	男
2	178	43	男
3	165	36	女
4	177	42	男
5	160	35	女

给出测试样本： 6(167，43)

选定k=3 计算距离：

6-1=$\sqrt{145}$

6-2=$\sqrt{121}$

6-3=$\sqrt{53}$

6-4=$\sqrt{101}$

6-5=$\sqrt{103}$

由此发现 最近的为3，4，5。因为两女一男，我们推断样本属于女。 但是你会发现一个女性的脚为43码远远小于男性的脚为43码，

这里就是因为身高的数值比脚的数值大或者说是量纲大。因此导致身高的重要性远远大于脚码。 这也就是归一化的原因。

数据归一化的处理方式有很多，比如：0-1标准化，Z-score标准化，Sigmoid压缩法。 这里介绍一个比较简单的0-1标准化，公式：

MIN为改特征下的最小值，如身高的MIN为160；

MAX为该特征下的最大值，如身高的MAX为179

$x_normalization=\frac{x-MIN}{MAX-MIN}$

上面的测试数据经过0-1标准归一化变为

| 序号 | 身高 | 体重 | 分类 | | :---: | :---: | :---: | :---: | | 1 | 1 | 0.875 | 男 | | 2 | 0.95 | 1 | 男 | | 3 | 0.26 | 0.125 | 女 | | 4 | 0.89 | 0.875 | 男 | | 5 | 0 | 0 | 女 |

举例 身高：

1=$\frac{179-160}{179-160}$=1 2=$\frac{179-160}{179-160}$=0.95

体重

1=1=$\frac{42-35}{43-35}$=0.875

距离的度量

主要包括以下几种度量方式

​

​