Python爬虫——Selenium 定位节点及获取节点信息

887 阅读2分钟

携手创作,共同成长!这是我参与「掘金日新计划 · 8 月更文挑战」的第28天,点击查看活动详情

1、定位节点

当我们想要操作一个节点时,必须先找到这个节点,通过 Selenium 提供的定位节点的方法可以获取到想要的节点,获取节点后可以选择是执行下一步动作(如填充表单、模拟点击等)还是提取数据。

Selenium 4 之前使用 find_element_by_*() 方法定位节点,Selenium 4之后使用 find_element()方法。

使用find_element_by_*() 方法只需导入 from selenium import webdriver,使用 find_element() 方法除了导入 from selenium import webdriver ,还要导入 from selenium.webdriver.common.by import By。

Selenium4 提供了 8 种定位(单)节点的方法,如下表所示:

方法说明
find_element(By.ID)通过 id 属性值定位节点
find_element(By.NAME)通过 name 属性值定位节点
find_element(By.CLASS_NAME)通过 class 属性值定位节点
find_element(By.TAG_NAME)通过 tag 标签名定位节点
find_element(By.LINK_TEXT)通过<a>标签内文本定位节点,即精准定位。
find_element(By.PARTIAL_LINK_TEXT)通过<a>标签内部分文本定位节点,即模糊定位。
find_element(By.XPATH)通过 xpath 表达式定位节点
find_element(By.CSS_SELECTOR)通过 css 选择器定位节点

find_element找的是第一个符合条件的节点,

如果要查找所有符合条件的标签,需要用 find_elements,find_elements 的返回值是列表类型,可以用for循环遍历里面的节点。

定位节点使用实例

from selenium import webdriver
from selenium.webdriver.common.by import By

# 创建浏览器对象并访问网站
browser = webdriver.Chrome()
url = "https://www.baidu.com"
browser.get(url)

# 根据 id 定位
browser.find_element(By.ID,'su')

# 根据 name 定位
# 返回第一个元素
browser.find_element(By.CLASS_NAME,'fenlei')
# 返回所有元素
browser.find_elements(By.CLASS_NAME,'fenlei')

# 根据 class 定位
browser.find_element(By.NAME,'title-text c-font-medium c-color-t')
browser.find_elements(By.NAME,'title-text c-font-medium c-color-t')

# 根据标签名称定位
browser.find_element(By.TAG_NAME,'input')
browser.find_elements(By.TAG_NAME,'input')

# 使用链接文本定位超链接
browser.find_element(By.LINK_TEXT,'index')
browser.find_elements(By.LINK_TEXT,'index')
browser.find_element(By.PARTIAL_LINK_TEXT,'index')
browser.find_elements(By.PARTIAL_LINK_TEXT,'index')

# 使用 xpath 定位
browser.find_element(By.XPATH,'//input[@id="su"]')
browser.find_elements(By.XPATH,'//input[@id="su"]')

# 使用 CSS 选择器定位
browser.find_element(By.CSS_SELECTOR,'#su')
browser.find_elements(By.CSS_SELECTOR,'#su')

# 关闭浏览器
browser.close()

2、获取节点信息

使用get_attribute()方法获取节点中指定属性的属性值,参数为节点中的属性

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
url = "https://www.baidu.com"
browser.get(url)

# 定位节点
element = browser.find_element(By.ID,'su')

# 获取class的属性值
print(element.get_attribute('class'))
# 获取id的属性值
print(element.get_attribute('id'))
# 获取type的属性值
print(element.get_attribute('type'))
# 获取value的属性值
print(element.get_attribute('value'))

browser.close()

定位到的节点:

在这里插入图片描述

执行结果:

bg s_btn
su
submit
百度一下

使用 .tag_name 方法获取节点的标签名

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
url = "https://www.baidu.com"
browser.get(url)

# 定位节点
element = browser.find_element(By.ID,'su')
# 获取节点的标签名
print(element.tag_name)

执行结果:

input

使用 .text 获取节点文本,没有文本则不返回

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
url = "https://www.baidu.com"
browser.get(url)
# 根据a标签的文本定位节点
element1 = browser.find_element(By.LINK_TEXT,"地图")
# 获取节点内容
print(element1.text)
browser.close()

定位的a标签:

在这里插入图片描述

执行结果:

地图

使用.size 获取节点的大小(也就是宽高)

from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException

browser = webdriver.Chrome()
url = "https://www.baidu.com"
browser.get(url)

element1 = browser.find_element_by_link_text("地图")
# 获取节点的宽高
print(element1.size)
browser.close()

执行结果:

{'height': 23, 'width': 26}