废话写在前面

近日来被学生会要求给17级的学弟学妹讲一讲python语言。在前言部分我准备了一些例子，以简单展示python的功能，标题所述的程序即是其中之一。

程序的整体思路很简单，分三步走：

爬取数据：爬取https://pubg.me/上的各服务器前百名数据。
分析：分析爬取到数据的内容，选择合适的特征参数。
聚类：通过选取的特征参数对样本点集做kmeans聚类，获取各样本点的label，最后按不同的label画图。

最后结果是这样：

下面详细说说各阶段具体的实现。

爬取数据

这部分唯一值得注意的是，PUBG.ME在你第一次访问的时候，会丢给你一些cookie：

cookie:__cfduid=d44db92eab1474bde64206da8c5e0f5b11507046474; 
       language=en-US; 
       cdmu=1508154346400; 
       cdmblk2=0:0:0:0:0:0:0:0:0:0:0:0:0:0,0:0:0:0:0:0:0:0:0:0:0:0:0:0,0:0:0:0:0:0:0:0:0:0:0:0:0:0,0:0:0:0:0:0:0:0:0:0:0:0:0:0,0:0:0:0:0:0:0:0:0:0:0:0:0:0,0:0:0:0:0:0:0:0:0:0:0:0:0:0,0:0:0:0:0:0:0:0:0:0:0:0:0:0,0:0:0:0:0:0:0:0:0:0:0:0:0:0; 
       cdmblk=0:0:0:0:0:0:0:0:0:0:0:0:0:0,0:0:0:0:0:0:0:0:0:0:0:0:0:0,0:0:0:0:0:0:0:0:0:0:0:0:0:0,0:0:0:0:0:0:0:0:0:0:0:0:0:0,0:0:0:0:0:0:0:0:0:0:0:0:0:0,0:0:0:0:0:0:0:0:0:0:0:0:0:0,0:0:0:0:0:0:0:0:0:0:0:0:0:0,0:0:0:0:0:0:0:0:0:0:0:0:0:0; 
       cdmtlk=0:0:0:0:0:0:0:0:0:0:0:0:0:0; 
       cdmgeo=us; 
       cdmbaserate=2.1; 
       cdmbaseraterow=1.1; 
       cdmint=0

并且服务器会在你接下来每次访问的时候验证它们，已确定你是真的浏览器（然而并不可以）。其中，__cfduid的值会每隔一段时间（大概10min？）更新一次。

在写爬虫的时候，如果你的请求里不包含或者包含了过期的cookie，服务器会丢给你一个写着稍等5秒钟blabla的网页，当然这样就什么都爬不到了（摊手┑(￣Д ￣)┍

分析

爬好的数据可以按行排列成一个300*37的二维数组，其中每一个样本点包含37个attr，如下图：

这些attr分别是：

['as solo Rating' 'Season High' 'Rank' 'Win Rate' 'Wins' 'Win Rank'
 'Kill / Death Ratio' 'Kills' 'Kill Rank' 'Matches Played' 'Daily Logins'
 'AVG Distance Travelled' 'Total Distance Travelled' 'AVG Distance On Foot'
 'AVG Distance In Vehicle' 'Weapons Acquired' 'Vehicles Destroyed'
 'Total Damage Dealt' 'Top 10 Rate' "Top 10's" 'AVG Survival Time'
 'Longest Time Survived' 'Total Heals' 'Total Boosts' 'Team Kills'
 'Suicides' 'Revives' 'AVG Damage Per Match' 'Most Kills In Match'
 'Assists' 'KDA' 'Headshots' 'Headshot Kill Ratio' 'Longest Kill'
 'Road Kills' 'Best Kill Streak' 'DBNO']

可以合理地认为，只有平均数据才有对比的价值。再看看平均数据里，有例如 AVG Distance On Foot，AVG Distance In Vehicle，AVG Survival Time一类描述玩家除枪法之外属性的数据（或许 AVG Survival Time跟枪法有相关性？）。这些数据受玩家的风格影响，并不能很好的刻画玩家水平的优劣和是否使用外挂，故他们也不是我们要找的特征参数。

考虑到可视化的直观与方便，不妨从这37个数据里挑出3个作为特征参数。最后我选择了 Win Rate，KDA，Headshot Kill Ratio，原因是：

Win Rate是最能体现玩家水平的数据，直截了当。
KDA和Headshot Kill Ratio与玩家的枪法相关性很强，外挂玩家（指自瞄）与正常玩家的这两项数据一般也有较大差异。

聚类

考虑到前100的正常玩家水平不会有太大差异，可以合理的估计，对300个样本点的聚类事实上是分开了正常玩家以及外挂玩家。

先来看一看样本点的分布：

可以看到，左下角一片区域明显有一个密度较大的点簇，可以认为正常玩家都在这个点簇里（你们看看其他点数据多么不正常，尤其右上角，85%吃鸡率，177KDA！！！ 177！！！）

我们期望选择一个合适的聚类算法，把正常玩家和外挂规到不同的类里。由于正常玩家集和挂逼集的密度（目测）相差很大，所以像DBSCAN这样基于密度的聚类算法肯定无法得到良好的结果。于是我们选择基于距离的聚类算法中最简单的kmeans。

先试探性聚为3类（因为有右上角那个离群点，聚2类没什么屁用...）：

from sklearn.cluster import KMeans
from get_data import open_exl

m = open_exl('pubg_3.xls', 0)
kmeans = KMeans(n_clusters=3).fit(m)
labels = kmeans.labels_

然后分成不同的颜色画出来：

from mpl_toolkits.mplot3d import Axes3D
import matplotlib.pyplot as plt

colors = ['#E4846C', '#19548E', '#E44B4E', '#197D7F', '#0282C9']
c_list = [colors[labels[i]] for i in range(m.shape[0])]

plt.figure(figsize=(12, 7))
ax1 = plt.subplot(111,projection='3d')
x,y,z = m[:,0],m[:,1],m[:,2]
ax1.scatter(x, y, z, s=15, color=c_list)
ax1.set_title('Data of PUBG without Labels')
ax1.set_zlabel('Headshot Kill Ratio')
ax1.set_ylabel('KDA')
ax1.set_xlabel('Win Rate')
plt.show()

如图，橙色点可以认为是正常玩家；红色枪法好过正常玩家，但是胜率却与正常玩家无异；而蓝色点枪法和胜率都明显好过正常玩家（尤其右上角那个点...他id好像是加某某群买挂什么的...）

更进一步的，正常玩家由于数据分布过于密集，不太容易区分具体的打法风格，但是外挂玩家的行为可以看到相差甚远。不妨先来估计一下外挂的行为：

Aimbot：自瞄，还可以根据KDA跟爆头率的对比区分出是暴力锁头还是仅仅是自瞄（懒得写）
Waller：透视，坊间传言有些主播不开自瞄但是会用双屏，其中一个屏正常另一个透视。
Both：顾名思义既透视又自瞄。
Motherf**ker：专指右上角那个点，我是真的不知道怎么形容。

现在我们将样本点集聚为5类，看一看kmeans算法是不是如我分析的一样，能将整个点集分为正常玩家与上述四类：

from sklearn.cluster import KMeans
from get_data import open_exl

m = open_exl('pubg_3.xls', 0)
kmeans = KMeans(n_clusters=5).fit(m)
labels = kmeans.labels_

画图：

如上图，橙色当然是正常玩家，红色则可以认为是自瞄，天蓝是透视，深蓝是透视+自瞄，右上角绿色...emmm...是死妈东西。

加上标签即可得到序言里的图：

from mpl_toolkits.mplot3d import Axes3D
import matplotlib.pyplot as plt

colors = ['#E4846C', '#19548E', '#E44B4E', '#197D7F', '#0282C9']
label_list = ['Normal', 'Both', 'Waller', 'Aimbot', 'MotherF**ker']

plt.figure(figsize=(19, 7))
ax = plt.subplot(122,projection='3d')
for i in range(5):
    c = m[labels == i]
    x,y,z = c[:,0],c[:,1],c[:,2]
    ax.scatter(x, y, z, s=15, color=colors[i], label=label_list[i])

ax.legend()
ax.set_title('Data of PUBG with Labels Built by KMeans')
ax.set_zlabel('Headshot Kill Ratio')
ax.set_ylabel('KDA')
ax.set_xlabel('Win Rate')

ax1 = plt.subplot(121,projection='3d')
x,y,z = m[:,0],m[:,1],m[:,2]
ax1.scatter(x, y, z, s=15)
ax1.set_title('Data of PUBG without Labels')
ax1.set_zlabel('Headshot Kill Ratio')
ax1.set_ylabel('KDA')
ax1.set_xlabel('Win Rate')
plt.show()

进一步分析

留个坑明天写好了┑(￣Д ￣)┍