作者：鼠
PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取
应用场景：工作中经常遇到大量的数据需要整合、去重、按照特定格式导出等情况。如果用 Excel 操作，不仅费时费力，还不准确，有么有更高效的解决方案呢？
本文以17个 txt 文本，3万多条数据为例，使用 Python 连接 MySQL 数据库，实现快速操作。公众号后台回复“3万”获取数据和源代码。
本文主要包括以下三方面内容：
-
数据写入
-
数据去重
-
数据导出
下图所示文件是本文的数据源：
我们的设想是：编写一个小程序，扔在这个文件夹里，双击后就可以自动读取每个 txt 文档中的数据，并写入数据库。
代码如下：
import pymysql
import os
conn = pymysql.connect(host='localhost', user='root', password='123456', db='qq', charset='utf8')
cur = conn.cursor()
cur.execute("CREATE TABLE qq ( id int(5) NOT NULL auto_increment, qq varchar(20)NOT NULL, PRIMARY KEY (id));")
conn.commit()
path = os.getcwd()
files = os.listdir(path)
i = 0
for file in files:
f = open(file,'r',encoding = 'UTF-8')
next(f)
for line in f:
i += 1
#print(line)
sql = "insert into qq(qq) values(%s);"
cur.execute(sql,line)
print("插入第", i, "条数据！")
conn.commit()
f.close()
cur.close()
conn.close()
运行效果：
重点代码解释：
这段代码用到了 pymysql 和 os 两个库。
-
pymysql：用来操作 MySQL 数据库；
-
os：用来遍历所在文件夹下的所有文件。
现将主要代码解释如下：
1、遍历任意文件夹下所有文件名称
程序写好后，使用 pyinstaller 打包成 exe 程序，并放在要操作的文件夹下面。
通过 path = os.getcwd()命令，获取该 exe 文件所在目录。
通过 files = os.listdir(path)命令，获取 exe 文件所在目录下的所有文件名称，并存入 files 列表中。
这样我们就获得了所有的 txt 文件名称，你可以任意命名你的 txt 文件名，程序都能读出来。
2、将数据写入数据库
（1）连接数据库，并在数据库中创建新表
A. 连接到我的 qq 数据库
conn = pymysql.connect(host='localhost', user='root', password='123456', db='qq', charset='utf8')
B. 创建新表 qq
在 qq 数据库中创建新表，表名称为 qq ，包含 2 个字段：id 字段为主键、自动递增；qq 字段为字符型，用于存储数据。
cur.execute("CREATE TABLE qq ( id int(5) NOT NULL auto_increment, qq varchar(20)NOT NULL, PRIMARY KEY (id))")
（2）将数据写入数据库
这里使用了两层循环：
for file in files:
f = open(file,'r',encoding = 'UTF-8')
next(f)
for line in f:
i += 1
#print(line)
sql = "insert into qq(qq) values(%s);"
cur.execute(sql,line)
print("插入第", i, "条数据！")
conn.commit()
f.close()
第一层循环是用来依次打开上述 17 个 txt 文件。
第二层循环是依次读取每个 txt 文件的每一行，并将改行数据插入数据库表 qq 的 qq字段。
至此就完成了数据的导入，总共32073条数据。
这里以去除重复值为例，简单介绍一下数据清洗。
1、创建一个新表，用来存储清洗后的数据
可以在 cmd 窗口下登陆 MySQL，打开 qq 数据库，执行下列操作：
CREATE TABLE qq_dist ( id int(5) NOT NULL auto_increment, qq varchar(20)NOT NULL, PRIMARY KEY (id));
如果你也是看准了Python，想自学Python，在这里为大家准备了丰厚的免费学习大礼包，带大家一起学习，给大家剖析Python兼职、就业行情前景的这些事儿。
一、Python所有方向的学习路线
Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
二、学习软件
工欲善其必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。
三、全套PDF电子书
书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。
四、入门学习视频
我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。
四、实战案例
光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
五、面试资料
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
成为一个Python程序员专家或许需要花费数年时间，但是打下坚实的基础只要几周就可以，如果你按照我提供的学习路线以及资料有意识地去实践，你就有很大可能成功！ 最后祝你好运！！！
