98、selenium等待元素加载、执行js、切换选项卡、前进后退、登陆cnblogs、抽屉半自动点赞、xpath使用、动作链、自动登陆12306 、大码平台

luona
237 阅读9分钟

内容概要

  • selenium等待元素加载
  • selenium元素操作
  • selenium执行js
  • selenium切换选项卡
  • selenium前进后退
  • selenium登陆cnblogs
  • 抽屉半自动点赞
  • xpath使用
  • 动作链
  • 自动登陆12306
  • 打码平台
  • 打码平台自动登陆

今日内容详细

selenium等待元素加载

1.程序执行速度很快--->获取标签--->标签还没加载好--->直接去拿会报错--->引出隐式等待的概念
2.显式等待：当你要找一个标签的时候，给它加单独加等待时间
3.隐式等待：只要写一行，代码中查找标签，如果标签没加载好，会自动等待
	browser.implicitly_wait(10)

selenium元素操作

1.输入框输入内容，删除内容
	tag.send_keys(写文字)  # 输入框输入内容
  tag.clear()   # 清除输入字段中的所有文本，将其内容设置为空字符串。
2.按钮点击
	tag.click()

等待元素加载、元素操作案例

import time
from selenium import webdriver
from selenium.webdriver.common.by import By

bro = webdriver.Chrome() #打开浏览器
# 隐式等待
bro.implicitly_wait(10)

# 访问网页
bro.get('https://www.jd.com/')
input=bro.find_element(By.ID,'key')
# 输入
input.send_keys('零食')
time.sleep(3)
input.clear()

time.sleep(4)
bro.close()  # 关闭这个选项卡
bro.quit()  # 关闭浏览器页面

selenium执行js

1.其实再页面中，可能有些变量，全局的，直接可以把变量打印出来--->利用js操作页面
2.selenium执行js：bro.execute_script('js语句')
3.selenium执行js可以干的事
	1.获取当前访问的地址:window.location
	2.打开新的标签：bro.execute_script('window.open()')
	3.滑动屏幕		bro.execute_script('scrollTo(0,document.documentElement.scrollHeight)')
	4.获取cookie
  	bro.execute_script('alert(document.cookie)')
  5.获取定义的全局变量
  	bro.execute_script('alert(urlMap.loginUrl);')

案例

from selenium import webdriver
import time

bro = webdriver.Chrome()
bro.get('https://www.pearvideo.com/')
bro.implicitly_wait(10)
bro.execute_script('alert(urlMap.getVerCodeUrl)')
bro.execute_script('alert(window.location)')  # https://www.pearvideo.com/
# 获取当前页面cookie
bro.execute_script('alert(document.cookie)')

time.sleep(5)
bro.close() # 关闭选项卡

selenium切换选项卡

1.开启选项卡：
	bro.execute_script('window.open()')

2.获取出所有选项卡,切换到某个选项卡
	bro.switch_to.window(bro.window_handles[0])
3.关闭选项卡
	bro.close()
4.关闭页面
	bro.quit()

案例

import time

from selenium import webdriver
import time


bro = webdriver.Chrome()
bro.implicitly_wait(10)

bro.get('https://www.baidu.com/')
# 打开新的选项卡
bro.execute_script('window.open()')
time.sleep(4)
# 获取所有选项卡,切换到某个选项卡
bro.switch_to.window(bro.window_handles[1])
bro.get('https://www.pearvideo.com/')
time.sleep(5)

bro.switch_to.window(bro.window_handles[0])
time.sleep(3)


bro.close() # 关闭选项卡
bro.quit()  # 关闭页面

selenium前进后退,关闭选项卡

1.前进：bro.forward()
2.后退：bro.back()
3.关闭选项卡：bro.close()
4.关闭页面：bro.quit()

案例

import time

from selenium import webdriver
import time
from selenium.webdriver.common.by import By
bro = webdriver.Chrome()
bro.implicitly_wait(10)

bro.get('https://www.baidu.com/')
input_kw = bro.find_element(By.ID,'kw')
time.sleep(2)
input_kw.send_keys('ip地址')
submit_btn = bro.find_element(By.ID,'su')
submit_btn.click()
time.sleep(4)
# 后退
bro.back()
time.sleep(4)

# 前进
bro.forward()
time.sleep(4)

selenium登录cnblogs

1.打开cnblogs，点进登录页面，输入用户名密码，点登录(可能会出现验证码)-->手动操作--->input(''),浏览器操作好后，后台回车

2.登录成功后---->拿到cookie--->保存到本地--->关闭浏览器

3.开启selenium，打开浏览器--->把本地的cookie写入到当前浏览器中---->当前浏览器就是登录状态

登陆，获取cookie

import time
from selenium import webdriver
from selenium.webdriver.common.by import By

bro=webdriver.Chrome()
bro.get('https://www.cnblogs.com/')
bro.maximize_window()
bro.implicitly_wait(10)

# 登陆按钮
login_btn = bro.find_element(By.CSS_SELECTOR,'#navbar_login_status > a:nth-child(7)')
login_btn.click()

# 用户名,密码，提交按钮
user_name = bro.find_element(By.ID,'mat-input-0')
password = bro.find_element(By.ID,'mat-input-1')
submit_btn = bro.find_element(By.CSS_SELECTOR,'body > app-root > app-sign-in-layout > div > div > app-sign-in > app-content-container > div > div > div > form > div > button > span.mat-button-wrapper')

# 传值
user_name.send_keys('863942169@qq.com')
password.send_keys('xxxxxx')
time.sleep(3)
submit_btn.click()
time.sleep(2)

# 可能有验证码，手动进行
input('稍等一下，完成按回车')

# 登陆成功拿到cookie,存到文件
cookie=bro.get_cookies()
print(cookie,type(cookie))   # list

# 存文件
with open('./cookie.json','wt',encoding='utf-8')as f:
    json.dump(cookie,f)
    
bro.close()

携带cookie，打开网页

bro = webdriver.Chrome()
bro.get('https://www.cnblogs.com/')
bro.implicitly_wait(5)
bro.maximize_window()
time.sleep(3)
# 本地的cookie，从cookie池中拿的
with open('./cookie.json','r',encoding='utf-8') as f:
    cookies=json.load(f)
for item in cookies:  # 存起来的是列表套字典，add_cookie是add字典
    bro.add_cookie(item)

bro.refresh() # 刷新页面
time.sleep(5)
bro.close()

抽屉半自动点赞

1.点赞需要登陆
	1.按钮没找到,不能够点击--->使用js点击
  	btn_login=bro.find_element(By.CSS_SELECTOR,'#login_btn')
  # btn_login.click() # 按钮没找到  使用js点击
  bro.execute_script("arguments[0].click()", btn_login)

2.访问抽屉，需要请求头

登陆

from selenium import webdriver
from selenium.webdriver.common.by import By
import time
import json


bro = webdriver.Chrome()
bro.get('https://dig.chouti.com/')
bro.maximize_window()
bro.implicitly_wait(10)

# 找登陆按钮
btn_login=bro.find_element(By.CSS_SELECTOR,'#login_btn')
# btn_login.click() # 按钮没找到  使用js点击
bro.execute_script("arguments[0].click()", btn_login)


# 手机号，密码，登陆标签
phone = bro.find_element(By.CSS_SELECTOR,'body > div.login-dialog.dialog.animated2.scaleIn > div > div.login-body > div.form-item.login-item.clearfix.phone-item.mt24 > div.input-item.input-item-short.left.clearfix > input')
pwd = bro.find_element(By.CSS_SELECTOR,'body > div.login-dialog.dialog.animated2.scaleIn > div > div.login-footer > div.form-item.login-item.clearfix.mt24 > div > input.input.pwd-input.pwd-input-active.pwd-password-input')
submit_btn = bro.find_element(By.CSS_SELECTOR,'body > div.login-dialog.dialog.animated2.scaleIn > div > div.login-footer > div:nth-child(4) > button')
time.sleep(3)
#传值
phone.send_keys('18081245209')
pwd.send_keys('xxxx')
time.sleep(3)
submit_btn.click()
# 可能会出验证码，手动操作
input('等一下，ok按回车')

# 获取cookie
cookie= bro.get_cookies()
print(cookie,type(cookie))
with open('./chouti_cookie.json','w',encoding='utf-8')as f:
    json.dump(cookie,f)

time.sleep(10)
bro.close()

点赞

import json
import requests
header = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
}


# 获取cookie
with open('./chouti_cookie.json','r',encoding='utf-8')as f:
    cookie_list=json.load(f)


# 把selenium拿到的cookie组装成requests能用的cookie
real_cookie={}
for cookie in cookie_list:
    real_cookie[cookie["name"]]=cookie.get('value')
print(real_cookie)
    # 要获取文章id
# print(res.get('data'))
res =requests.get('https://dig.chouti.com/top/24hr?_=1689066996364',headers=header).json()
for info in res.get('data'):
    id=info.get('id')
    # print(id)
    res1 =requests.post('https://dig.chouti.com/link/vote',data={'linkId':id},cookies=real_cookie,headers=header)
    print(res1.text)

xpath的使用

1.页面中定位元素(标签)，两种通用方式
	1.css选择器
	2.xpath：XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言
  
2.掌握的
  /
  //
  .
  ..
  取文本  /text()
  取属性  /@属性名
  根据属性过滤  [@属性名=属性值]
  class 特殊
  [contains(@class,"li")]

选取节点

XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。 下面列出了最有用的路径表达式：

表达式描述
nodename选取此节点的所有子节点。
/从根节点选取（取子节点）。
//从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置（取子孙节点）。
.选取当前节点。
..选取当前节点的父节点。
@选取属性。

在下面的表格中，我们已列出了一些路径表达式以及表达式的结果：

路径表达式结果
bookstore选取 bookstore 元素的所有子节点。
/bookstore选取根元素 bookstore。注释：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！
bookstore/book选取属于 bookstore 的子元素的所有 book 元素。
//book选取所有 book 子元素，而不管它们在文档中的位置。
bookstore//book选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。
//@lang选取名为 lang 的所有属性。

谓语（Predicates）

谓语用来查找某个特定的节点或者包含某个指定的值的节点。谓语被嵌在方括号中。

在下面的表格中，我们列出了带有谓语的一些路径表达式，以及表达式的结果：

路径表达式结果
/bookstore/book[1]选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1]选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()<3]选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang='eng']选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00]选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]//title选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

案例

doc = '''
<html>
 <head>
  <base href='http://example.com/' />
  <title>Example website</title>
 </head>
 <body>
  <div id='images'>
   <a href='image1.html' id='nana'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>
   <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>
   <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>
   <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>
   <a href='image5.html' class='li li-item' name='items'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>
   <a href='image6.html' name='items'><span><h5>test</h5></span>Name: My image 6 <br /><img src='image6_thumb.jpg' /></a>
  </div>
 </body>
</html>
'''
from lxml import etree

html = etree.HTML(doc)
# html=etree.parse('search.html',etree.HTMLParser())

1. 所有节点

a=html.xpath('//*')

2.指定节点（结果为列表）

a=html.xpath('//head')  # [<Element head at 0x10115b540>]

3.子节点，子孙节点

a=html.xpath('//div/a')  # [<Element a at 0x1010974c0>, <Element a at 0x101097840>, <Element a at 0x101097880>, <Element a at 0x1010978c0>, <Element a at 0x101097900>, <Element a at 0x101097980>]
a=html.xpath('//body/a') #无数据  # []
a=html.xpath('//body//a')  # [<Element a at 0x10140f440>, <Element a at 0x10140f7c0>, <Element a at 0x10140f800>, <Element a at 0x10140f840>, <Element a at 0x10140f880>, <Element a at 0x10140f900>]

4.父节点

a=html.xpath('//body//a[@href="image1.html"]/..')  # [<Element div at 0x100a23700>]
a=html.xpath('//body//a[1]/..')  # [<Element div at 0x104b874c0>]
也可以这样
a=html.xpath('//body//a[1]/parent::*')  # [<Element div at 0x100d17880>]
a=html.xpath('//body//a[1]/parent::div')  # [<Element div at 0x1011c3800>]

5.属性匹配

a=html.xpath('//body//a[@href="image1.html"]')  # [<Element a at 0x100e6b780>]

6.文本获取 /text()

a=html.xpath('//body//a[@href="image1.html"]/text()')  # ['Name: My image 1 ']

7.属性获取 @属性名

a=html.xpath('//body//a/@href')  # ['image1.html', 'image2.html', 'image3.html', 'image4.html', 'image5.html', 'image6.html']
# 注意从1 开始取（不是从0）
a=html.xpath('//body//a[1]/@href')  # ['image1.html']

8.属性多值匹配

 a 标签有多个class类，直接匹配就不可以了，需要用contains
a=html.xpath('//body//a[@class="li"]')  # []
a=html.xpath('//body//a[contains(@class,"li")]')  # [<Element a at 0x103487900>]
a=html.xpath('//body//a[contains(@class,"li")]/text()')  # ['Name: My image 5 ']

9.多属性匹配

a=html.xpath('//body//a[contains(@class,"li") or @name="items"]')  # [<Element a at 0x1048a7740>, <Element a at 0x1048a7780>]
a=html.xpath('//body//a[contains(@class,"li") and @name="items"]/text()')  # ['Name: My image 5 ']
a=html.xpath('//body//a[contains(@class,"li")]/text()')  # ['Name: My image 5 ']

10.按序选择

a=html.xpath('//a[2]/text()')  # ['Name: My image 2 ']
a=html.xpath('//a[2]/@href')  # ['image2.html']
取最后一个
a=html.xpath('//a[last()]/@href')  # ['image6.html']
a=html.xpath('//a[last()-1]/@href') # 倒数第二个  # ['image5.html']
位置小于3的
a = html.xpath('//a[position()<3]/@href')  # ['image1.html', 'image2.html']
倒数第三个
a=html.xpath('//a[last()-2]/@href')  # ['image4.html']

11.节点轴选择

1.ancestor：祖先节点
	使用了* 获取所有祖先节点
  
  a=html.xpath('//a/ancestor::*')  # [<Element html at 0x104f34cc0>, <Element body at 0x10510b700>, <Element div at 0x10510b740>]
  # 获取祖先节点中的div
  a=html.xpath('//a/ancestor::div')  # [<Element div at 0x104b0b900>]

2.attribute：属性值
  a=html.xpath('//a[1]/attribute::*')  # ['image1.html', 'nana']
  a=html.xpath('//a[1]/attribute::href')  # ['image1.html']

3.child：直接子节点
  a=html.xpath('//a[1]/child::*')  # [<Element br at 0x1045af840>, <Element img at 0x1045af880>]
  descendant：所有子孙节点
  a=html.xpath('//a[6]/descendant::*')  # [<Element span at 0x1031977c0>, <Element h5 at 0x103197800>, <Element br at 0x103197840>, <Element img at 0x103197880>]
  
4.following:当前节点之后所有节点
  a=html.xpath('//a[1]/following::*')
  a=html.xpath('//a[1]/following::*[1]/@href')
  following-sibling:当前节点之后同级节点
  a=html.xpath('//a[1]/following-sibling::*')
  a=html.xpath('//a[1]/following-sibling::a')
  a=html.xpath('//a[1]/following-sibling::*[2]')
  a=html.xpath('//a[1]/following-sibling::*[2]/@href')

动作链

1.动作链：模拟鼠标点住，拖动的效果，实现滑块认证
2.两种形式
	1.形式一：
    actions=ActionChains(bro) #拿到动作链对象
    actions.drag_and_drop(sourse,target) #把动作放到动作链中，准备串行执行
    actions.perform()
	2.方式二：
    ActionChains(bro).click_and_hold(sourse).perform()
    distance=target.location['x']-sourse.location['x']
    track=0
    while track < distance:
      ActionChains(bro).move_by_offset(xoffset=2,yoffset=0).perform()
      track+=2

案例

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver import ActionChains
from selenium.webdriver.support.wait import WebDriverWait  # 等待页面加载某些元素
import time

bro = webdriver.Chrome()
bro.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
bro.implicitly_wait(10)
bro.maximize_window()

try:
    bro.switch_to.frame('iframeResult')  # 切换到iframeResult
    sourse = bro.find_element(By.ID,'draggable')
    target = bro.find_element(By.ID,'droppable')

    # 方式一：基于同一个动作链串行执行
    # actions = ActionChains(bro)  # 拿到做做链对象
    # actions.drag_and_drop(sourse,target)  # # 把动作放到动作链中，准备串行执行
    # actions.perform()
    # time.sleep(10)

    # 方式二：不同的动作链，每次移动的位移都不同
    ActionChains(bro).click_and_hold(sourse).perform()  # # 鼠标点中源 标签 不松开
    distance = target.location['x'] - sourse.location['x']
    track=0
    while track<distance:
        ActionChains(bro).move_by_offset(xoffset=2, yoffset=0).perform()
        track+=2
    ActionChains(bro).release().perform()
    time.sleep(10)

except Exception as e:
    print(e)
finally:
    bro.close()

自动登陆12306

import time

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver import ActionChains
from selenium.webdriver.chrome.options import Options
# 12306检测到咱们用了自动化测试软件，
options = Options()
options.add_argument("--disable-blink-features=AutomationControlled")  # 去掉自动化控制

bro = webdriver.Chrome(options=options)
bro.implicitly_wait(10)
bro.maximize_window()

bro.get('https://kyfw.12306.cn/otn/resources/login.html')

# 找标签
user_name = bro.find_element(By.ID,'J-userName')
password = bro.find_element(By.ID,'J-password')
login_btn = bro.find_element(By.ID,'J-login')

# 输入
user_name.send_keys('18081245209')
password.send_keys('xxxx')
login_btn.click()

# 拖动滑块
span = bro.find_element(By.ID,'nc_1_n1z')
ActionChains(bro).click_and_hold(span).perform()
ActionChains(bro).move_by_offset(xoffset=300, yoffset=0).perform()
ActionChains(bro).release().perform()

time.sleep(10)
bro.close()

打码平台

1.以后会遇到验证码
	1.简单的数字字母
  2.高级一些的，计算题，成语
  3.选中图中的  公交车
	...

2.第三方解决方法：打码平台--->你验证码图片传给它，它给你破解，回给你（花钱）
3.比如超级鹰
	1.注册，登陆超级鹰
  2.购买题分
  3.下载：Python语言Demo，文档里
  4.解压后，py文件放在项目里

超级鹰使用

#!/usr/bin/env python
# coding:utf-8

import requests
from hashlib import md5

class ChaojiyingClient(object):

    def __init__(self, username, password, soft_id):
        self.username = username
        password =  password.encode('utf8')
        self.password = md5(password).hexdigest()
        self.soft_id = soft_id
        self.base_params = {
            'user': self.username,
            'pass2': self.password,
            'softid': self.soft_id,
        }
        self.headers = {
            'Connection': 'Keep-Alive',
            'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',
        }

    def PostPic(self, im, codetype):
        """
        im: 图片字节
        codetype: 题目类型 参考 http://www.chaojiying.com/price.html
        """
        params = {
            'codetype': codetype,
        }
        params.update(self.base_params)
        files = {'userfile': ('ccc.jpg', im)}
        r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files, headers=self.headers)
        return r.json()

    def PostPic_base64(self, base64_str, codetype):
        """
        im: 图片字节
        codetype: 题目类型 参考 http://www.chaojiying.com/price.html
        """
        params = {
            'codetype': codetype,
            'file_base64':base64_str
        }
        params.update(self.base_params)
        r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, headers=self.headers)
        return r.json()

    def ReportError(self, im_id):
        """
        im_id:报错题目的图片ID
        """
        params = {
            'id': im_id,
        }
        params.update(self.base_params)
        r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers)
        return r.json()


if __name__ == '__main__':
    chaojiying = ChaojiyingClient('18081245209', 'ln1998151125', '950605')	#用户中心>>软件ID 生成一个替换 96001
    im = open('a.jpg', 'rb').read()													#本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
    print(chaojiying.PostPic(im, 1004))										#1902 验证码类型  官方网站>>价格体系 3.4+版 print 后要加()
    print(chaojiying.PostPic(im, 1004).get('pic_str'))	  # 7261									#1902 验证码类型  官方网站>>价格体系 3.4+版 print 后要加()
    #print chaojiying.PostPic(base64_str, 1902)  #此处为传入 base64代码

打码平台自动登陆

import time

from selenium import webdriver
from selenium.webdriver.common.by import By
from PIL import Image
from chaojiying import ChaojiyingClient


bro = webdriver.Chrome()
bro.get('https://www.chaojiying.com/user/login/')
bro.implicitly_wait(10)
bro.maximize_window()

try:
    # 找标签,用户名，密码
    user_name =bro.find_element(By.CSS_SELECTOR,'body > div.wrapper_danye > div > div.content_login > div.login_form > form > p.login_form_item > input')
    password = bro.find_element(By.CSS_SELECTOR,'body > div.wrapper_danye > div > div.content_login > div.login_form > form > p:nth-child(2) > input')
    # 传值
    user_name.send_keys('18081245209')
    password.send_keys('ln1998151125')

    # 获取验证码
    # bro.save_screenshot('img/code.png')
    img = bro.find_element(By.XPATH,'/html/body/div[3]/div/div[3]/div[1]/form/div/img')
    code=img.screenshot_as_png
    with open('img/code.png','wb')as f:
        f.write(code)

    # 识别
    chaojiying = ChaojiyingClient('18081245209', 'ln1998151125', '950605')	#用户中心>>软件ID 生成一个替换 96001
    im = open('img/code.png', 'rb').read()													#本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
    real_code = chaojiying.PostPic(im, 1004).get('pic_str')

    # 输入
    input_code = bro.find_element(By.CSS_SELECTOR,'body > div.wrapper_danye > div > div.content_login > div.login_form > form > p:nth-child(4) > input')
    input_code.send_keys(real_code)
    btn = bro.find_element(By.CSS_SELECTOR,'body > div.wrapper_danye > div > div.content_login > div.login_form > form > p:nth-child(5) > input')
    btn.click()

    time.sleep(10)
except Exception as e:
    print(e)

finally:
    bro.close()
avatar
文章
阅读
粉丝