本文已参与「新人创作礼」活动，一起开启掘金创作之路。
文章目录
一 聚类算法简介
1 聚类算法
下面是一些样本，要将这些样本进行分类
使用不同的聚类准则，产生的聚类结果不同，属于无监督学习算法。
1.1 聚类算法在现实中的应用
- 用户画像，广告推荐，Data Segmentation，搜索引擎的流量推荐，恶意流量识别
- 基于位置信息的商业推送，新闻聚类，筛选排序
- 图像分割，降维，识别；离群点检测；信用卡异常消费；发掘相同功能的基因片段
1.2 聚类算法的概念
聚类算法：
一种典型的无监督学习算法，主要用于将相似的样本自动归到一个类别中。
在聚类算法中根据样本之间的相似性，将样本划分到不同的类别中，对于不同的相似度计算方法，会得到不同的聚类结果，常用的相似度计算方法有欧式距离法。
1.3 聚类算法与分类算法最大的区别
聚类算法是无监督的学习算法，而分类算法属于监督的学习算法。
二 聚类算法api初步使用
1 api介绍
sklearn.cluster.KMeans(n_clusters=8)
参数:
n_clusters:开始的聚类中心数量
整型，缺省值=8，生成的聚类数，即产生的质心（centroids）数。
方法:
estimator.fit(x)
estimator.predict(x)
estimator.fit_predict(x)
计算聚类中心并预测每个样本属于哪个类别,相当于先调用fit(x),然后再调用predict(x)
2 案例
随机创建不同二维数据集作为训练集，并结合k-means算法将其聚类，可以尝试分别聚类不同数量的簇，并观察聚类效果：
聚类参数n_cluster传值不同，得到的聚类结果不同
2.1流程分析
2.2 代码实现
创建数据集
import matplotlib.pyplot as plt
from sklearn.datasets.samples_generator import make_blobs
from sklearn.cluster import KMeans
from sklearn.metrics import calinski_harabaz_score
# 创建数据集
# X为样本特征，Y为样本簇类别， 共1000个样本，每个样本4个特征，共4个簇，
# 簇中心在[-1,-1], [0,0],[1,1], [2,2]， 簇方差分别为[0.4, 0.2, 0.2, 0.2]
# 返回特征值，目标值
X, y = make_blobs(n_samples=1000,
n_features=2,
centers=[[-1, -1], [0, 0], [1, 1], [2, 2]],
cluster_std=[0.4, 0.2, 0.2, 0.2],
random_state=9)
# 数据集可视化
plt.scatter(X[:, 0], X[:, 1], marker='o')
plt.show()
使用k-means进行聚类,并使用CH方法评估，CH越大越好，详情见四
y_pred = KMeans(n_clusters=2, random_state=9).fit_predict(X)
# 分别尝试n_cluses=2\3\4,然后查看聚类效果
plt.scatter(X[:, 0], X[:, 1], c=y_pred)
plt.show()
# 用Calinski-Harabasz Index评估的聚类分数
print(calinski_harabaz_score(X, y_pred))
三 聚类算法实现流程
k-means其实包含两层内容：
- K : 初始中心点个数（计划聚类数）
- means：求中心点到其他数据点距离的平均值
1 k-means聚类步骤
- 随机设置K个特征空间内的点作为初始的聚类中心
- 对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类中心点作为标记类别
- 接着对着标记的聚类中心之后，重新计算出每个聚类的新中心点（平均值）
- 如果计算得出的新中心点与原中心点一样（质心不再移动），那么结束，否则重新进行第二步过程
通过下图解释实现流程：
2 案例练习
案例：
- 随机设置K个特征空间内的点作为初始的聚类中心（本案例中设置p1和p2）
- 对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类中心点作为标记类别
- 接着对着标记的聚类中心之后，重新计算出每个聚类的新中心点（平均值）
- 如果计算得出的新中心点与原中心点一样（质心不再移动），那么结束，否则重新进行第二步过程【经过判断，需要重复上述步骤，开始新一轮迭代】
- 当每次迭代结果不变时，认为算法收敛，聚类完成，K-Means一定会停下，不可能陷入一直选质心的过程。
3 小结
流程:
- 事先确定常数K，常数K意味着最终的聚类类别数;
- 首先随机选定初始点为质心，并通过计算每一个样本与质心之间的相似度(这里为欧式距离)，将样本点归到最相似的类中，
- 接着，重新计算每个类的质心(即为类中心)，重复这样的过程，直到质心不再改变，
- 最终就确定了每个样本所属的类别以及每个类的质心。
注意:
- 由于每次都要计算所有的样本与每一个质心之间的相似度，故在大规模的数据集上，K-Means算法的收敛速度比较慢。
四 模型评估
1 误差平方和(SSE \The sum of squares due to error)：
举例:(下图中数据-0.2, 0.4, -0.8, 1.3, -0.7, 均为真实值和预测值的差)
在k-means中的应用:
公式各部分内容:
上图中: k=2
SSE随着聚类迭代,其值会越来越小,直到最后趋于稳定
- 如果质心的初始值选择不好,SSE只会达到一个不怎么好的局部最优解.
2 “肘”方法 (Elbow method) — K值确定
（1）对于n个点的数据集，迭代计算k from 1 to n，每次聚类完成后计算每个点到其所属的簇中心的距离的平方和；
（2）平方和是会逐渐变小的，直到k==n时平方和为0，因为每个点都是它所在的簇中心本身。
（3）在这个平方和变化过程中，会出现一个拐点也即“肘”点，下降率突然变缓时即认为是最佳的k值。
在决定什么时候停止训练时，肘形判据同样有效，数据通常有更多的噪音，在增加分类无法带来更多回报时， 停止增加类别。
3 轮廓系数法（Silhouette Coefficient）
结合了聚类的凝聚度（Cohesion）和分离度（Separation），用于评估聚类的效果：
b越大越好，a越小越好，s=1，效果最好，s=-1，效果最差
目的：
内部距离最小化，外部距离最大化
计算样本i到同簇其他样本的平均距离ai，ai 越小样本i的簇内不相似度越小，说明样本i越应该被聚类到该簇。
计算样本i到最近簇Cj 的所有样本的平均距离bij，称样本i与最近簇Cj 的不相似度，定义为样本i的簇间不相似度：bi =min{bi1, bi2, …, bik}，bi越大，说明样本i越不属于其他簇。
求出所有样本的轮廓系数后再求平均值就得到了平均轮廓系数。
平均轮廓系数的取值范围为[-1,1]，系数越大，聚类效果越好。
簇内样本的距离越近，簇间样本距离越远
案例：
下图是500个样本含有2个feature的数据分布情况， 对它进行SC系数效果衡量：
n_clusters = 2 The average silhouette_score is : 0.7049787496083262
n_clusters = 3 The average silhouette_score is : 0.5882004012129721
n_clusters = 4 The average silhouette_score is : 0.6505186632729437
n_clusters = 5 The average silhouette_score is : 0.56376469026194
n_clusters = 6 The average silhouette_score is : 0.4504666294372765
n_clusters 分别为 2，3，4，5，6时，SC系数如下，是介于[-1,1]之间的度量指标：
从平均SC系数结果来看，K取3，5，6是不好的，那么2和4呢？
k=2的情况：
k=4的情况：
n_clusters = 2时，第0簇的宽度远宽于第1簇；
n_clusters = 4时，所聚的簇宽度相差不大，因此选择K=4，作为最终聚类个数。
4 CH系数（Calinski-Harabasz Index）
Calinski-Harabasz：
类别内部数据的协方差越小越好，类别之间的协方差越大越好（换句话说：类别内部数据的距离平方和越小越好，类别之间的距离平方和越大越好），
这样的Calinski-Harabasz分数s会高，分数s高则聚类效果越好。
tr为矩阵的迹, Bk为类别之间的协方差矩阵，Wk为类别内部数据的协方差矩阵;
m为训练集样本数，k为类别数。
使用矩阵的迹进行求解的理解：
矩阵的对角线可以表示一个物体的相似性
在机器学习里，主要为了获取数据的特征值，那么就是说，在任何一个矩阵计算出来之后，都可以简单化，只要获取矩阵的迹，就可以表示这一块数据的最重要的特征了，这样就可以把很多无关紧要的数据删除掉，达到简化数据，提高处理速度。
CH需要达到的目的：
用尽量少的类别聚类尽量多的样本，同时获得较好的聚类效果。
5 总结
- 误差平方和：值越小越好
- 肘部法：下降率突然变缓时即认为是最佳的k值
- SC系数：取值为[-1, 1]，其值越大越好
- CH系数：分数s高则聚类效果越好
