selenium是基于谷歌浏览器模拟的,需要先安装安装谷歌浏览器再运行下面代码。
from selenium import webdriver
import time
import random
# 先找到每个类别的首页,在这里查看一下该类别的电影总共有多少页
url='https://www.pexels.com/zh-CN/search/4k%20%E6%A1%8C%E9%9D%A2/?orientation=landscape'
driver = webdriver.Chrome() # selenium是基于谷歌浏览器模拟的,因此需要安装谷歌浏览器才行,否则这一句报错
driver.get(url)
print('开始页面下拉')
# 缓慢下拉
for i in range(1,500): # 下拉动作的次数
time.sleep(random.randint(100, 300) / 1000)
driver.execute_script('window.scrollTo(0,{})'.format(i * 700))
html = driver.page_source
content = etree.HTML(html)