阅读 344

Python - 爬虫之数据提取

欢迎关注微信公众号:FSA全栈行动 👋

一、概述

1、响应内容的分类

  • 结构化的响应内容
    • json 字符串:可以使用 re、json、jsonpath 等模块来提取特定数据
    • xml 字符串:可以使用 re、lxml 等模块来提取特定数据
  • 非结构化的响应内容
    • html 字符串:可以使用 re、lxml、Beautiful Soup、pyquery 等模块来提取特定数据

注意:re 模块需要掌握正则语法,lxml 模块需要掌握 xpath 语法。

2、xml 与 html 的区别

数据格式描述设计目标
XMLEXtensible Markup Language(可扩展标记语言)被设计为传输和存储数据,其焦点是数据的结构
HTMLHyperText Markup Language(超文本标记语言)显示数据以及如何更好显示数据

二、jsonpath 模块【了解】

1、介绍

  • 场景:多层嵌套的复杂字典直接提取数据
  • 安装:pip install jsonpath
  • 使用:
from jsonpath import jsonpath
ret = jsonpath(data, 'jsonpath语法规则字符串')
复制代码

注意:data 类型是字典,ret 类型是列表

2、jsonpath 语法规则

常用核心语法

JSONPath描述
$根节点
. or []取子节点
..内部任意位置,取子孙节点

完整语法说明:kubernetes.io/zh/docs/ref…

from jsonpath import jsonpath

data = {'key1': {'key2': {'key3': {'key4': {'key5': {'key6': 'lqr'}}}}}}

# print(data['key1']['key2']['key3']['key4']['key5']['key6'])

# jsonpath的结果为列表,获取数据需要索引
print(jsonpath(data, '$.key1.key2.key3.key4.key5.key6')[0])
print(jsonpath(data, '$..key6')[0])
复制代码

三、lxml 模块【重点】

1、介绍

  • lxml 模块:可以利用 XPath 规则语法,快速定位 HTML/XML 文档中的元素以及获取节点信息(文本内容、属性值)
  • XPath:是一门对 HTML/XML 文档中查找信息的语言,可用来在 HTML/XML 文档中对元素和属性进行遍历
  • 关系:提取 xml、html 中的数据需要 lxml 模块和 xpath 语法配合使用

2、xpath 语法

完整语法说明:www.w3school.com.cn/xpath/index…

1)xpath 定位节点以及提取属性或文本内容语法

nodename选取此节点的所有子节点。
/从根节点选取。
//从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。
.选取当前节点。
..选取当前节点的父节点。
@选取属性。
text()选取文本。

举例:

<!-------选取title标签-------->
html/head/title	绝对路径
html//title		相对路径
//title			相对于整个html文档
//title/.		当前节点
//title/./../..	父节点

<!-------从开闭标签之间取文本内容-------->
//title/text()

<!-------从选中的节点标签中获取指定属性的值-------->
//link/@href
复制代码

安利:Chrome 插件【xmlpath-helper】:chrome.google.com/webstore/de…

2)xpath 选取特定节点语法

路径表达式结果
//title[@lang="eng"]选择 lang 属性值为 eng 的所有 title 元素
/bookstore/book[1]选取属于 bookstore 子元素的第一个 book 元素
/bookstore/book[last]选取属于 bookstore 子元素的最后一个 book 元素
/bookstore/book[last()-1]选取属于 bookstore 子元素的倒数第二个 book 元素
/bookstore/book[position()>1]选择 bookstore 下面的 book 元素,从第二个开始选择
//book/title[text()='Harry Potter']选择所有 book 下的 title 元素,仅仅选择文本为 Harry Potter 的 title 元素
/bookstore/book[price>35.00]/title选取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 子元素的值须大于 35.00

注意:在 xpath 中,第一个元素的位置是 1;最后一个元素的位置是 last();倒数第二个是 last()-1。

举例:

<!-------通过索引修饰节点-------->
/html/body/div[3]/div/div[1]/div
/html/body/div[3]/div/div[1]/div[3]
/html/body/div[3]/div/div[1]/div[last()]		选中最后一个
/html/body/div[3]/div/div[1]/div[last()-1]		选中倒数第二个
/html/body/div[3]/div/div[1]/div[position()>=10] 范围选择

<!-------通过属性修饰节点-------->
//div[@id="content-left"]/div/@id	出现在[]中的@是使用标签属性名和属性值修饰节点,出现在结尾的/@是取属性值

<!-------通过子节点修饰节点-------->
//span[i>2000]
//div[span[2]>=9.4]

<!-------通过包含修饰节点-------->
//div[contains(@id, "qiushi_tag_")]
复制代码

3)xpath 选取未知节点语法

可以通过通配符来选取未知的 html、xml 的元素

通配符描述
*匹配任何元素节点。
@*匹配任何属性节点。
node()匹配任何类型的节点。

补充:通过在路径表达式中使用"|"运算符,可以选取若干个路径。

举例:

/bookstore/*	选取 bookstore 元素的所有子元素。
//*				选取文档中的所有元素。
//title[@*]		选取所有带有属性的 title 元素

//h2/a|//td/a	xpath复合使用语法
复制代码

3、lxml 模块的使用

1)导入 lxml 的 etree 库

from lxml import etree

# 如果上面导入代码报错,可以改用下面的导入代码
from lxml import html
etree = html.etree
复制代码

注意:from lxml import etree 提示报错的话,其实不会影响代码的运行,只是看着有点别扭。

2)使用 etree.HTML 转化 Element 对象

利用 etree.HTML 将 html 字符串(bytes 类型或 str 类型)转化为 Element 对象,Element 对象具有 xpath 方法,返回结果的列表:

html = etree.HTML(text)
ret_list = html.xpath('xpath语法规则字符串')
复制代码

3)xpath 方法返回列表的三种情况

  • 空列表:没有定位到任何元素
  • 字符串列表:匹配到了文本内容或某属性的值
  • Element 列表:匹配到符合条件的标签,列表中的 Element 对象可以继续进行 xpath

举例:

from lxml import etree

text = """
<div>
    <ul>
        <li class="item-1"><a href="link1.html">first item</a></li>
        <li class="item-1"><a href="link2.html">second item</a></li>
        <li class="item-inactive"><a href="link3.html">third item</a></li>
        <li class="item-1"><a href="link4.html">fourth item</a></li>
        <li class="item-0"><a href="link5.html">fifth item</a></li>
    </ul>
</div>
"""

html = etree.HTML(text)
#print(html)

print(html.xpath('//a[@href="link1.html"]/text()'))
print(html.xpath('//a[@href="link1.html"]/text()')[0])

# 字符串列表
text_list = html.xpath('//a/text()')
link_list = html.xpath('//a/@href')
# for text in text_list:
#     myindex = text_list.index(text)
#     link = link_list[myindex]
#     print(text, link)
for text, link in zip(text_list, link_list):
    print(text, link)

# Element列表
el_list = html.xpath('//a')
for el in el_list:
    print(el.xpath('//text()'))  # ×://开头是相对整个文档的
    print(el.xpath('./text()'))  # √
    print(el.xpath('.//text()'))  # √
    print(el.xpath('text()'))  # √
复制代码

4)etree.tostring 函数的使用

etree.tostring 函数可以将 Element 对象转化回 html 字符串:

from lxml import etree

text = """
<div>
    <ul>
        <li class="item-1"><a href="link1.html">first item</a></li>
        <li class="item-1"><a href="link2.html">second item</a></li>
        <li class="item-inactive"><a href="link3.html">third item</a></li>
        <li class="item-1"><a href="link4.html">fourth item</a></li>
        <li class="item-0"><a href="link5.html">fifth item</a></li>
    </ul>
</div>
"""

html = etree.HTML(text)

html_str = etree.tostring(html).decode()
print(html_str)
复制代码

注意:转化后,可能会多出来一些标签,比如原本没有的<body><html>,这是因为 etree.HTML(text) 会自动补全原 html 中的语法错误。

如果文章对您有所帮助, 请不吝点击关注一下我的微信公众号:FSA全栈行动, 这将是对我最大的激励. 公众号不仅有Android技术, 还有iOS, Python等文章, 可能有你想要了解的技能知识点哦~