利用 Python + Selenium实现爬虫抓取表格数据（二）

LEON
4,022 阅读3分钟

简介

距离上一次写爬虫的blog已经是一个月前了，那么今天我们接着往下写如何利用爬虫抓取表格数据并保存到excel中，这一次我换了一个内部写的Sample接下来看实现细节部分。

实现细节

还是在原来的login.py 文件中引入pandas 分析结构化数据的工具集

import pandas as pd
from openpyxl import load_workbook

引入之后我们就可以根据上一篇中利用 Python + Selenium实现爬虫模拟登录（一）中登录

self.browser.find_element_by_name('commit').click()  # 登录
time.sleep(1) #

登录成功之后真的成功的页面进行节点解析，模拟打开左边侧栏的层级

# 定位到第一层级
span_tags = self.browser.find_elements_by_xpath('//span[text()="用户"]')
span_tags[0].click()

# 打开微信用户页面
a_tags = self.browser.find_elements_by_xpath('//a[@href="/admin/wxusers"]')
a_tags[0].click()

image.png 通过上方的代码，我们就把侧边栏的内容彻展开并打开了页面，接下来最重要的代码来了 由于本次所写的内部Sample不是前后端分离的就需要获取页面当中的页数，通过一下代码进行获取总页数：

b_tags = self.browser.find_element_by_class_name('pagination.page.width-auto').find_elements_by_tag_name('b')
pageSize =  int(b_tags[1].text)

获取页数之后就需要对我们的页面进行一个for循环：

row = 10 # 记录每次写入Excel的行数
for i in range(pageSize):

循环的里边进行定位表格并获取表格的内容

lst = []  # 将表格的内容存储为list
element = self.browser.find_element_by_tag_name('tbody')  # 定位表格
# 提取表格内容td
tr_tags = element.find_elements_by_tag_name("tr")  # 进一步定位到表格内容所在的tr节点
for tr in tr_tags:
    td_tags = tr.find_elements_by_tag_name('td')
    for td in td_tags[:4]: #只提取前4列
        lst.append(td.text) #不断抓取的内容新增到list当中

提取到第一页的内容之后，将内容进行分割并连续保存到Excel当中

    # 确定表格列数
    col = 4
    # 通过定位一行td的数量，可获得表格的列数，然后将list拆分为对应列数的子list
    lst = [lst[i:i + col] for i in range(0, len(lst), col)]
    
    # list转为dataframe
    df = pd.DataFrame(lst)  # 列表数据转为数据框
  
    #等于1 表示当前是第一条数据，直接省成Excel
    if i == 0:
        df.to_excel('demo.xlsx', sheet_name='sheet_1', index=False,header=False)

    #在现有的文件当中新增内容并保存
    book = load_workbook('demo.xlsx')
    writer = pd.ExcelWriter('demo.xlsx', engine='openpyxl')
    writer.book = book
    writer.sheets = dict((ws.title, ws) for ws in book.worksheets)
    df.to_excel(writer, sheet_name='sheet_1', index=False,startrow=row,header=False)
    writer.save()
    time.sleep(1) # 停顿一秒是以防把本地的Sample并发过高
    row = row + 10 # 记录存储Excel的行数

内容保存之后点击下页，如此类推直到循环停止我们的数据也就抓取完成的

# 点击下一页
self.browser.find_element_by_class_name('next').click()

验证并进行测试

image.png 以上是本次所抓取保存下来的内容。 目前第二篇我并没有录制视频，希望小伙伴自行验证，但可以保证的就是这些都是本人亲测通过的代码。

结语

avatar
文章
阅读
粉丝