文章目录
前言
依旧是先唠嗑两句，过气博主又来找存在感了。
回顾一下往昔，过去我们讲了爬虫的简单操作，并封装了一个简单的，获取网页源数据的函数，还挺好用吧。
Python爬虫自学系列一
今天我们来从获取到的网页数据中抓取我们想要的数据。
（注：这一篇里面很多东西都已经是讲过的了，所以本篇基本上是链接了，也不会很长的）
HTML网页简单介绍
Xpath，永远滴神
XPath 是一种将 XML 文档的层次结构描述为关系的方式。因为 HTML 是 由 XML 元素组成的，因此我们可以使用 XPath 从 HTML 文档中定位和选择元素。
如果你想了解更多 XPath 相关的知识，可以点击这边上面的蓝字。
至于beautifulsoup就不提啦。
别问我为什么不提，看下去就知道啦。
性能对比
你悟到了吗？
好，知识点都讲完了，比较中要的还是项目实战中的代码封装。
项目实战也有，爬取2021年腾讯校招
先看一下大概，然后回来我们捡一些功能出来封装一下函数。
从网页中获取数据
这个函数呢，直接将数据一波取走了，不过这个Xpath的使用呐，也不是那么容易的哦。
def get_data(html_data,Xpath_path):
'''
这是一个从网页源数据中抓取所需数据的函数
:param html_data:网页源数据 (单条数据)
:param Xpath_path: Xpath寻址方法
:return: 存储结果的列表
'''
data = html_data.content
data = data.decode().replace("<!--", "").replace("-->", "") #删除数据中的注释
tree = etree.HTML(data) #创建element对象
el_list = tree.xpath(Xpath_path)
return el_list
上面那个是一次性的，那可持续发展的呢？就比方说一个网页你要抓大于一个种类的数据，也就是说有多套的Xpath，那怎么办？
我这儿有两种方法啊：
1.将element对象用于中转，函数一分为二，看：
可持续发展方法一：
第一步，获取网址中的element对象并返回
#获取网址中的element对象
def get_element(html_data):
data = html_data.content
data = data.decode().replace("<!--", "").replace("-->", "")
tree = etree.HTML(data)
return tree
第二步，从element对象中取值
def parser_element_data(Tree,Xpath):
el_list = Tree.xpath(Xpath)
return el_list
这方法啊，土了点，真要用起来啊，也不是很美观，冗余。
还是看方法二吧。
可持续发展方法二：
这个方法呢，就将所有Xpath作为一个列表传入，然后通过循环来取数据。
def get_data_2(html_data,Xpath_path_list):
'''
通过多个Xpath对数据进行提取
:param html_data: 原始网页数据
:param Xpath_paths: Xpath寻址列表
:return: 二维列表，一种寻址数据一个列表
'''
el_data = []
data = html_data.content
data = data.decode().replace("<!--", "").replace("-->", "")
tree = etree.HTML(data)
for Xpath_path in Xpath_path_list:
el_list = tree.xpath(Xpath_path)
el_data.append(el_list)
el_list = [] #安全起见就自己清理了吧
return el_data
练习
这篇相对比较短，但是内容却不短。
有心的朋友可以找个网站练一下Xpath，比方说招聘网。
