K最近邻算法
一、K最近邻分类
判断水果是橙子还是柚子呢？根据水果的特征：大小和颜色将水果进行分类。
二、K最近邻特征抽取
上面例子中，大小和颜色是比较特征，并可将特征作为坐标轴进行定位，接着计算距离来度量相似度。而计算距离可使用毕达哥拉斯公式计算即可。。
特征不一定只有两个，也存在多维的特征，距离仍然按照毕达哥拉斯公式计算即可。选择最近的数时，也并非是3个，可选择2个、10个或10 000个。这就是这种算法名为K最近邻而不是3最近邻的原因！
三、K最近邻特征回归（预测数值）
通过最近K个数值，求平均值得到回归。
机器学习
OCR:通过图片识别数字，可使用KNN。
- 浏览大量的数字图像，将这些数字的特征提取出来。 ————训练（training）
- 遇到新图像时，你提取该图像的特征，再找出它最近的邻居都是谁。
朴素贝叶斯分类器
计算出分类为X类的概率。
