preface

在上一章节我们聊了python大数据分析的基本模块，下面就说说2个项目吧,第一个是进行淘宝商品数据的挖掘，第二个是进行文本相似度匹配。好了，废话不多说，赶紧上车。

淘宝商品数据挖掘

数据来源：

自己写个爬虫爬吧，爬到后入库（mysql）。

数据清洗：

所谓的数据清洗，就是把一些异常的、缺失的数据处理掉，处理掉不一定是说删除，而是说通过某些方法将这个值补充上去，数据清洗目的在于为了让我们数据的可靠，因为脏数据会对数据分析产生影响。拿到数据后，我们进行数据清洗分为两方面：

缺失值发现：可以查找
异常值发现：画图分析

缺失值：在下载数据、搜集数据的时候刚好就缺失。可以通过查找的方法去发现。
异常值：不一定就是异常，可能就是客观存在，但是这个值对于总的数据来说是一个就比较特殊点。可以通过画散点图发现。

这两方面的处理方法如下：

缺失值处理：均值/中位数插补、固定值、临近插补、回归分析、插值法（拉格朗日插值，牛顿插值）
异常值处理：视为缺失，平均值修正，不处理。

方法解释：

均值/中位数插补：在缺失位置插入一个总数据的均值或者中位数。
固定值：：在缺失位置插入一个固定值
临近插补：看这个缺失位置附近的值是什么，就把附近的某一个值插到缺失位置，这类应用场景应用于物以类聚的场景
回归分析：等日后用上的时候在研究。
插值法：此算法复杂，暂未研究，等日后用上的时候在研究。
视为缺失：可以看成缺失值，然后通过缺失值来处理。
平均值修正：通过平均值来替代这个值
不处理：不处理这个值

开始分析：

表结构介绍：

淘宝商品表结构如下：

title：商品名称
link：商品URL
price：商品价钱
comment：商品评论数量

mysql> desc taob;
+---------+-------------+------+-----+---------+-------+
| Field   | Type        | Null | Key | Default | Extra |
+---------+-------------+------+-----+---------+-------+
| title   | varchar(50) | YES  |     | NULL    |       |
| link    | varchar(60) | NO   | PRI | NULL    |       |
| price   | int(30)     | YES  |     | NULL    |       |
| comment | int(30)     | YES  |     | NULL    |       |
+---------+-------------+------+-----+---------+-------+

对于上面四个字段，比较好处理的就是价钱和评论数，比如价钱是0（没有采集到的数据），可以通过刚才平均值或者中位数来填充，对于异常值，比如某个评论10W+，那么也可以采用平均值修正。

Python环境介绍：

依赖于pymysql,numpy,pandas,matplotlib，请自己先安装。可以参考我上篇博文：http://www.cnblogs.com/liaojiafa/p/6239262.html

拿代码说话：

获取数据

conn = pymysql.connect(host='192.168.56.4',user='root',passwd='123456',db='csdn',charset='utf8')
sql='select * from taob'
data = pandas.read_sql(sql,conn)
print(data.head(1))
#数据样例如下,和mysql字段相匹配的：
0  买2袋减2元 印尼进口菲那菲娜虾味木薯片油炸大龙虾片零食品400g   

                                              link  price  comment  
0  https://item.taobao.com/item.htm?id=44350560220     50     2577

可以看看数据的中位数和均值：

print(data.describe())
            price        comment
count  9616.00000    9616.000000
mean     64.49324     562.239601   # 均值
std     176.10901    6078.909643
min       0.00000       0.000000
25%      20.00000      16.000000
50%      36.00000      58.000000   # 中位数
75%      66.00000     205.000000
max    7940.00000  454037.000000

对price列的数据清洗

缺失值的处理：

我们先了解下这样的判断方法：

a={1:'a',2:'b'}
print([a[1]=='a'])

上述代码打印结果必然是True，小括号([])相当于if判断了，返回的值为布尔值。

下面对price为0的值(也就是缺失值)进行处理。

data['price'][(data['price']==0)]=None   # 对price的缺失值统统赋值为None，方便下面处理
data['price'][(data['price']==0)]=64   # 也可以这样写，直接把price的缺失值设置为price的平均数64.那么下面的for循环设置price的缺失值就不需要写。

对上面这段代码拆分来看：

(data['price']==0) 判断data['price']列中哪行price的值等于0，等于的返回True，不等于返回False
data['price'][(data['price']==0)] 这语句就是一下子把所有price=0的给取出来了，然后哪行的price等于0就赋值为None

for i in data.columns:   # 遍历data的每列
    for j in range(len(data)):   # 遍历data的每一行了。
        if data[i].isnull()[j]: # i在这是一维（列）,data[i]等于把这一列的值取出来了，j在这里是二维（行），i相当于XY轴的X轴，j相当于XY轴的Y轴,data[i].isnull是判断整列的某一个值是nan那么就返回True,data[i].isnull[j]是逐行逐行的判断是否为nan了，是的话返回True从而进行下面代码块的处理。
            data[i][j]=64   # 缺失值设置为均值

异常值处理：

1.找到异常值：通过画散点图（横轴：价格，纵轴：评论数）
我们这里的话要选取评论数，价钱。通常的方法就是说通过遍历每一行的数据，取每一行中的price值，但是呢这个方法效率低下。
对此我们可以采用转置方法，把price列转置为一行，这样就能够快速取到这价钱的数据，还有评论数。
下面请看代码：

dataT=data.T # 转置下数据
prices = dataT.values[2]     # 取第3行数据
comments = dataT.values[3]   # 取第4行数据
pylab.plot(prices,comments,'o')    # 画散点图
pylab.xlabel('prices')
pylab.ylabel('comments')
pylab.title(" The Good's price and comments")
pylab.show()

处理异常数据，我这里定义的异常数据就是评论数超过20W，价格大于2000，请看代码：

line = len(data.values)   # 取行数
col = len(data.values[0])   # 取列数
davalues = data.values    #取data的所有值
for i in range(0,line):    # 遍历行数
    for j in range(0,col):   #遍历列数
        if davalues[i][3]>200000:    #判断评论数
            #print('comments==i,j',i,j,davalues[i][j])
            davalues[i][j] = 562   # 评论数取平均值
         
        if davalues[i][2]>2000:
            davalues[i][j] =  64   # 价钱取平均值


prices2=davalues.T[2]
comments2=davalues.T[3]
pylab.plot(prices2,comments2,'or')
pylab.xlabel('prices')
pylab.ylabel('comments')
pylab.title(" The Good's price and comments")
pylab.show()

此时，我们看图：

显然我们已经对评论数超过20W，价格大于2000的数据处理了，但是呢上图显示的还是不够漂亮,因为异常点与正常点的差距太大了，导致正常点与正常点之间的间隔非常小，小到黏在一块了，所以我们还需要在处理下，把评论数超过2000，价格大于300的处理掉，这样的话，正常点就能够很好的展现在图上，代码如下：

line = len(data.values)   # 取行数
col = len(data.values[0])   # 取列数
davalues = data.values    #取data的所有值
for i in range(0,line):    # 遍历行数
    for j in range(0,col):   #遍历列数
        if davalues[i][3]>2000:    #判断评论数，===主要修改这行
            #print('comments==i,j',i,j,davalues[i][j])
            davalues[i][j] = 562   # 评论数取平均值
         
        if davalues[i][2]>300:    # ====主要修改这行
            davalues[i][j] =  64   # 价钱取平均值
prices2=davalues.T[2]
comments2=davalues.T[3]
pylab.plot(prices2,comments2,'or')
pylab.xlabel('prices')
pylab.ylabel('comments')
pylab.title(" The Good's price and comments")
pylab.show()

full example:

import pymysql
import numpy
import pandas
from  matplotlib import  pylab

#缺失值处理
#======
data['price'][(data['price']==0)]=64  # 对price的缺失值统统赋值为平均数

# 异常值处理：
# 1.找到异常值：通过画散点图（横轴：价格，纵轴：评论数）
# 我们这里的话要选取评论数，价钱。通常的方法就是说通过遍历每一行的数据，取每一行中的price值，但是呢这个方法效率低下，
# 对此我们可以采用转置方法，把price列转置为一行，这样就能够快速取到这价钱的数据，还有评论数
# 处理异常数据，我这里定义的异常数据就是评论数超过20W，价格大于2000
conn = pymysql.connect(host='192.168.56.4',user='root',passwd='123456',db='csdn',charset='utf8')
sql='select * from taob'
data = pandas.read_sql(sql,conn)

line = len(data.values)   # 取行数
col = len(data.values[0])   # 取列数
davalues = data.values    #取data的所有值
for i in range(0,line):    # 遍历行数
    for j in range(0,col):   #遍历列数
        if davalues[i][3]>2000:    #判断评论数
            #print('comments==i,j',i,j,davalues[i][j])
            davalues[i][j] = 562   # 评论数取平均值

        if davalues[i][2]>300:
            davalues[i][j] =  64   # 价钱取平均值


prices2=davalues.T[2]
comments2=davalues.T[3]
pylab.plot(prices2,comments2,'or')
pylab.xlabel('prices')
pylab.ylabel('comments')
pylab.title(" The Good's price and comments")
pylab.show()

生成的图如下：

这张图就很直观的看出，价钱和评论数的关系了，价钱在100以内的，评论数也比较多，价钱越高，评论数相对来说越少。

数据集成与数据离散化

数据集成：不同来源的数据集合在一起，需要注意格式保持一致。
for example:
我这里有2个表数据，淘宝与京东的，淘宝的表就如上面所述的一样，标题,url，价钱，评论，那么京东的下标为2的列也必须是价钱，只有数据格式保持一致，才能分析。
数据离散化：处理连续数据较好的方法。离散化就是指数据不集中，分散了。
for example:
一个班的考试成绩就是从0-100分之间，这个数据是在100以内连续的，那么我们对这个数据分析的时候就可以这么做，把连续的数据或者近似连续的数据整合在一个点附近，比如0-60分为及格，60-80为良好.....

商品数据分布分析实战

我们在这里要分析商品数据的分布，看评论数与价钱的在哪个数量段的分布最多。首先我们需要计算出价钱和评论的最值，其次在计算最值之间的极差，最后计算组距（极差/组数，组数自己根据情况定义）。下面请看代码：

# 数据分布：
# 1 求最值
# 2 计算极差
# 3 组距： 极差/组数
da2=davalues.T
# print('=======')
# print(data['price'])
pricemax = da2[2].max()
pricemin = da2[2].min()

commentmax = da2[3].max()
commentmin = da2[3].min()
# 极差
pricerg =  pricemax - pricemin
commentrg = commentmax -commentmin
# 组距
pricedst = pricerg/10
commentdst = pricerg/10

# 绘制直方图
# numpy.arrange(最小值，最大值，组距)
# 价钱直方图
pricesty = numpy.arange(pricemin,pricemax,pricedst)
pylab.hist(da2[2],pricesty)
pylab.show()

# 评论直方图
commentty = numpy.arange(commentmin,commentmax,commentdst)
pylab.hist(da2[3],pricesty)
pylab.show()

评论直方图如下：

结论：

从上图中我们可以看出，评论数最多的集中在100元以内的商品，评论数也间接的说明了购买数，因为购买后才能够评论。
所以可以根据这个来直方图来给商品定价。
价钱直方图如下：

结论：

从上图中我们可以看出，商品价钱最多的集中在50元以内的商品

code full example:

#!/usr/bin/env python
# __author__:Leo
import pymysql
import numpy
import pandas
from  matplotlib import  pylab

conn = pymysql.connect(host='192.168.56.4',user='root',passwd='123456',db='csdn',charset='utf8')
sql='select * from taob'
data = pandas.read_sql(sql,conn)

# 缺失值处理
data['price'][(data['price']==0)]=64  # 对price的缺失值统统赋值为price的平均数

# 异常值处理：
# 1.找到异常值：通过画散点图（横轴：价格，纵轴：评论数）
# 我们这里的话要选取评论数，价钱。通常的方法就是说通过遍历每一行的数据，取每一行中的price值，但是呢这个方法效率低下，
# 对此我们可以采用转置方法，把price列转置为一行，这样就能够快速取到这价钱的数据，还有评论数



line = len(data.values)   # 取行数
col = len(data.values[0])   # 取列数
davalues = data.values    #取data的所有值
for i in range(0,line):    # 遍历行数
    for j in range(0,col):   #遍历列数
        if davalues[i][3]>2000:    #判断评论数
            #print('comments==i,j',i,j,davalues[i][j])
            davalues[i][j] = 562   # 评论数取平均值

        if davalues[i][2]>300:
            davalues[i][j] =  64   # 价钱取平均值


prices2=davalues.T[2]
comments2=davalues.T[3]
pylab.plot(prices2,comments2,'or')
pylab.xlabel('prices')
pylab.ylabel('comments')
pylab.title(" The Good's price and comments")
pylab.show()

# 数据分布：
# 1 求最值
# 2 计算极差
# 3 组距： 极差/组数
da2=davalues.T
# print('=======')
# print(data['price'])
pricemax = da2[2].max()
pricemin = da2[2].min()

commentmax = da2[3].max()
commentmin = da2[3].min()
# 极差
pricerg =  pricemax - pricemin
commentrg = commentmax -commentmin
# 组距
pricedst = pricerg/10
commentdst = pricerg/10

# 绘制直方图
# numpy.arrange(最小值，最大值，组距)
# 价钱直方图
pricesty = numpy.arange(pricemin,pricemax,pricedst)
pylab.hist(da2[2],pricesty)
pylab.show()

# 评论直方图
commentty = numpy.arange(commentmin,commentmax,commentdst)
pylab.hist(da2[3],pricesty)
pylab.show()

好了，淘宝商城数据预处理实战到此告一段落，下面我将继续搞文本相似度匹配。