爬取美国公司案例-parsel库教学篇（Xpath的详细使用）本文分享一个爬虫案例，通过使用parsel库中的xpath

前言

本文分享一个爬虫案例，通过使用parsel库中的xpath来爬取美国排名前一百名的公司，来详细解释下Xpath的使用。

Xpath的使用

Xpath的介绍

XPath 是一门在 XML /HTML文档中查找信息的语言。

Xpath节点

在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。看下面这个HTML文档

<!DOCTYPE html>
<html > // 根节点
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title lang='eng'>我是标题</title> // 元素节点
</head>
<body>
    
    <div class="ancestor"> // class为属性节点
        <div id="father">
            <a href="https:xx.xxx.com">哈喽</a> // href为属性节点
            <h1>在你的身边</h1>  // h1标签内的文字为文本
           <div class="son">
           <div>ping<div/>
            <span>多幸运</span>
           </div>
        </div>
    </div>
</body>
</html>

元素之间会有一些节点关系，下面是常见的节点关系：

父节点：每个元素以及属性都有一个父。在上面的例子中，id为father的div元素是 a、h1、div 以及 span元素的父节点
子节点：元素节点可有零个、一个或多个子。在上面的例子中，a、h1、div 以及 span元素是id为father的div元素的子节点
兄弟节点：拥有相同的父的节点。在上面的例子中，a、h1、div 以及 span元素都是兄弟节点
祖先 - 子孙节点：就是至少隔两代的元素节点，比如父节点的父节点和子节点的子节点。再上面的例子中，html元素节点就是 a、h1、div 以及 span元素的的祖先节点，反之。

Xpath语法

XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的，下面列出一些常用的路径表达式。

路径表达式	描述
/	从根节点选取（取子节点）
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置（取子孙节点）
.	选取当前节点
..	选取当前节点的父节点
@	选取属性

下面来举几个例子来讲讲下xpath的应用： "/html":选取根元素 "//div": 选取所有 div子元素，而不管它们在文档中的位置。 "//div[@class='ancestor']":选取class为ancestor的所有div元素 "//div[@class='ancestor']//div":选取class为ancestor的div元素下的所有div元素（不管什么位置） "//title[@lang='eng']":选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性 "//div[@class='ancestor']//div[@id='father']/*":选取class为ancestor的div元素下id为father的div元素下的所有元素 "//div[@class='ancestor']/div[2]":选取class为ancestor的div元素下的第二个div元素

实战应用

下面通过一个实战应用来继续熟悉下Xpath的使用：通过爬取美国排名前一百的公司，公司名字，公司市值，公司所属国家等数据。也会附上找到xpath的路径截图。

完整源码

import requests # 数据请求库
import parsel  # 数据解析库

# 目标网站
url='https://companiesmarketcap.com/'
# 请求体，用于伪装浏览器访问
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0'
}
# 响应数据
response = requests.get(url=url, headers=headers)
# 实例化对象
selector = parsel.Selector(response.text)
# 利用xpath先获取所有名字的selector对象
name=selector.xpath("//div[@class='company-name']")
# 再利用css选择器来获取所有的文字：即美国排名前一百的公司名称
name_detail=name.css('*::text').getall()

# 获取美国前一百公司的市值,利用xpath获取：后面附图具体讲解了每个元素的定位
value_data=selector.xpath("//td[@class='td-right']")
#  再利用css选择器获取所有市值，储存到value_detail列表中
value_detail=value_data.css('*::text').getall()

# 获取每个公司的所属国家
fallGains = selector.xpath("//span[@class='responsive-hidden']")
fallGains=fallGains.css('*::text').getall()

# 对列表进行遍历 输出公司名称和市值
for num in range(1,101):
    new_num=3*num-2
    name_company=name_detail[num-1]
    print(f"美国公司第{num}名：{name_company},市值为：{value_detail[new_num]},所属国家为：{fallGains[num]}")

运行截图

微信图片_20250114093104.png

共勉

少年有梦不应止于心动

ps

玩法：先利用xpath选择元素，再利用css选择器选择文本或属性。

name=selector.xpath("//div[@class='company-name']")
name_detail=name.css('*::text').getall()

博客

本人是一个渗透爱好者，不时会在微信公众号（laity的渗透测试之路）更新一些实战渗透的实战案例，感兴趣的同学可以关注一下，大家一起进步。
之前在公众号发布了一个kali破解WiFi的文章，感兴趣的同学可以去看一下，在b站（up主:laity1717）也发布了相应的教学视频。

爬取美国公司案例-parsel库教学篇（Xpath的详细使用）

前言

导航