print(page)
get_data()
page_num = 70
while int(page) != page_num:
print("-" * 100)
print("正在爬取第{}页数据".format(page_num + 1))
browser.get('s.taobao.com/search?q={}…, page_num*44))
browser.implicitly_wait(10)
get_data()
page_num += 1
print("数据抓取完成")
if __name__ == '__main__':
key_word = "车厘子"
browser = webdriver.Chrome("./chromedriver")
main()
第二步数据处理
既然采集到数据了，那就把这些数据整理一下！
数据读取并预览
import pandas as pd
import numpy as np
df = pd.read_csv('/菜J学Python/淘宝/车厘子.csv',header=None,
names=['商品名称','商品价格','付款人数','店铺名称','发货地址']) #添加字段名称
df.sample(5)
怎么查看数据信息呢
df.info()
<class 'pandas.core.frame.DataFrame'>
Int64Index: 1595 entries, 0 to 1674
Data columns (total 5 columns):
Column Non-Null Count Dtype
0 商品名称 1595 non-null object
1 商品价格 1595 non-null float64
2 付款人数 1595 non-null object
3 店铺名称 1595 non-null object
4 发货地址 1585 non-null object
dtypes: float64(1), object(4)
memory usage: 74.8+ KB
发现数据存在以下几个问题：
①发货地址有缺失值
②付款人数需做提取
③发货地址需做分割
④自定义索引并降序
数据清洗
#剔除缺失记录
df.dropna(axis=0, how='any', inplace=True)
#从发货地址字段中切分出省份和城市
df["省份"] = df["发货地址"].str.split(' ',expand=True)[0] #expand=True可以把用分割的内容直接分列
df["城市"] = df["发货地址"].str.split(' ',expand=True)[1] #提取城市
df["城市"].fillna(df["省份"], inplace=True) #城市字段空值用省份非空值填充
#用正则表达式从付款人数中提取数字
import re
df['数字'] = [re.findall(r'(\d+\.{0,1}\d*)', i)[0] for i in df['付款人数']] # 提取数值
df['数字'] = df['数字'].astype('float') # 转化数值型
df['单位'] = [''.join(re.findall(r'(万)', i)) for i in df['付款人数']] # 提取单位（万）
df['单位'] = df['单位'].apply(lambda x:10000 if x=='万' else 1)
df['付款人数'] = df['数字'] * df['单位'] # 计算付款人数
df.drop(['发货地址', '数字', '单位'], axis=1, inplace=True) # 删除多余的列
#按商品价格降序并重置索引
df = df.sort_values(by="商品价格", axis=0, ascending=False) #降序
df = df.reset_index(drop=True) #重置索引
清洗后，数据预览如下：
第三步数据可视化
数据都清洗整理好了，那接下来就是可视化了！
在以往的数据可视化中，常常以Python可视化库作图。而本文将尝试用Excel进行车厘子数据可视化，因为在绘图方面，Excel完全不输Python！
国内哪些地方车厘子卖的最火？
利用省份和付款人数字段数据制作地图，发现上海、浙江和广东等地车厘子销售量最大，西藏、青海和内蒙古销量较小。沿海地区的经济和人口优势，成为车厘子主要的消费市场。
车厘子作为“明星水果”，不菲的价格常常让打工人望而却步。根据国家统计总局发布的最新数据，上海人均可支配收入居首，超过7万元，自然更容易实现“车厘子自由”。北京虽然收入较高，但可能受疫情影响较大，车厘子销量并不多。
车厘子到底有多贵？
如果你也是看准了Python，想自学Python，在这里为大家准备了丰厚的免费学习大礼包，带大家一起学习，给大家剖析Python兼职、就业行情前景的这些事儿。
一、Python所有方向的学习路线
Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
二、学习软件
工欲善其必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。
三、全套PDF电子书
书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。
四、入门学习视频
我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。
四、实战案例
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
五、面试资料
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
成为一个Python程序员专家或许需要花费数年时间，但是打下坚实的基础只要几周就可以，如果你按照我提供的学习路线以及资料有意识地去实践，你就有很大可能成功！ 最后祝你好运！！！
