Python办公神器：教你使用python批量提取Excel数据

AI小智
563 阅读5分钟

在本文中，我将教你如何使用python的openpyxl和glob模块，来实现一个实际的案例：从同一个文件夹下的1000份电商女装数据的Excel表格中，提取所有购买金额超过100的记录，并汇总至一个新的Excel表中。

前言

Excel是一款非常强大和实用的办公软件，它可以用来存储、分析和处理各种数据，是许多人工作中不可或缺的工具。但是，当我们需要处理大量的Excel文件时，手动操作就会变得非常繁琐和耗时，而且容易出错。有没有一种方法，可以让我们用简单的代码，就能批量地提取、筛选和汇总Excel中的数据呢？

答案是肯定的，那就是使用python。python是一种简洁、优雅、易学的编程语言，它拥有丰富的第三方库，可以帮助我们完成各种任务，包括处理Excel数据。

准备工作

在开始编写代码之前，我们需要做一些准备工作，包括：

  • 安装python环境，如果你还没有安装python，可以参考这篇教程。
  • 安装openpyxl模块，这是一个用来操作Excel文件的python库，可以让我们读取、写入和修改Excel中的数据。要安装openpyxl模块，可以在命令行中输入以下命令：
pip install openpyxl
  • 安装glob模块，这是一个用来匹配文件路径的python库，可以让我们方便地获取指定文件夹下的所有文件名。要安装glob模块，可以在命令行中输入以下命令：
pip install glob
  • 准备数据文件，我们需要将同一个文件夹下的1000份电商女装数据的Excel表格（命名为电商女装数据1.xlsx，电商女装数据2.xlsx至电商女装数据1000.xlsx）放在一个文件夹中，例如D:\data。每个Excel表格中有以下几列数据：
商品名称商品价格购买数量购买金额购买时间
A5021002023-01-01
B8032402023-01-02
C12011202023-01-03
...............

我们的目标是提取所有购买金额超过100的记录，并汇总至一个新的Excel表中，例如D:\result.xlsx。新的Excel表中的数据格式如下：

商品名称商品价格购买数量购买金额购买时间数据来源
B8032402023-01-02电商女装数据1.xlsx
C12011202023-01-03电商女装数据1.xlsx
D15023002023-01-04电商女装数据2.xlsx
..................

编写代码

准备工作完成后，我们就可以开始编写python代码了。我们的代码主要分为以下几个步骤：

  • 导入openpyxl和glob模块，这样我们就可以使用它们提供的功能了。
import openpyxl
import glob
  • 使用glob.glob函数，获取指定文件夹下的所有Excel文件名，这些文件名将被存储在一个列表中，方便我们后续遍历。
# 定义文件夹路径，注意要使用反斜杠
folder_path = "D:\\data\\"
# 定义文件名匹配规则，注意要使用通配符*
file_pattern = folder_path + "电商女装数据*.xlsx"
# 获取所有匹配的文件名
file_list = glob.glob(file_pattern)
  • 创建一个新的Excel文件，并创建一个工作表，用来存储汇总的数据。我们使用openpyxl.Workbook类来创建一个新的Excel文件，使用create_sheet方法来创建一个工作表，使用save方法来保存文件。
# 创建一个新的Excel文件
result_wb = openpyxl.Workbook()
# 创建一个工作表，命名为"汇总数据"
result_ws = result_wb.create_sheet("汇总数据")
# 保存文件，指定文件名和路径
result_wb.save("D:\\result.xlsx")
  • 遍历所有的Excel文件，使用openpyxl.load_workbook函数来打开每个文件，并获取第一个工作表，使用iter_rows方法来遍历每一行数据，判断购买金额是否超过100，如果是，就将该行数据复制到新的工作表中，并添加数据来源的信息。我们使用append方法来向新的工作表中添加数据，使用save方法来保存文件。
# 遍历所有的Excel文件
for file_name in file_list:
    # 打开每个文件
    data_wb = openpyxl.load_workbook(file_name)
    # 获取第一个工作表
    data_ws = data_wb.active
    # 遍历每一行数据，跳过第一行（表头）
    for row in data_ws.iter_rows(min_row=2):
        # 判断购买金额是否超过100
        if row[3].value > 100:
            # 将该行数据复制到新的工作表中
            result_ws.append([cell.value for cell in row])
            # 添加数据来源的信息，即文件名
            result_ws.cell(row=result_ws.max_row, column=6).value = file_name
    # 保存文件
    result_wb.save("D:\\result.xlsx")

运行结果

运行上述代码后，我们就可以在D:\result.xlsx中看到汇总的数据了，如下图所示：

数据截图

总结

本文介绍了如何使用python的openpyxl和glob模块，来批量地提取、筛选和汇总Excel中的数据。通过这个案例，我们可以学习到以下几点：

  • openpyxl模块可以让我们方便地操作Excel文件，包括读取、写入和修改数据，以及创建和删除工作表等。
  • glob模块可以让我们快速地获取指定文件夹下的所有文件名，只需要使用通配符*来匹配文件名即可。
  • python的代码简洁而高效，可以帮助我们节省大量的时间和精力，提高工作效率。

如果你对Python自动化办公感兴趣，快来试试，把代码跑起来吧。

avatar
文章
阅读
粉丝