引言
众所周知，Python 有很多的爬虫工具，例如，requests、scrapy、selenium等。但是爬虫有个最难搞的东西就是反爬虫了，使用 requests、scrapy框架爬取速度飞快，但是遇到反爬的网站就得斗智斗勇半天甚至好几天。因此，如果仅仅是一些小项目，没有必要使用其他工具，就使用 selenium 就可以了。
selenium 实战
selenium 的使用方法非常简单，需要进行一些配置，这里我使用的是 谷歌浏览器，其他浏览器请自行搜索~
安装 selenium
pip install selenium
安装谷歌浏览器以及谷歌浏览器驱动
浏览器驱动 是和 浏览器对应的。 不同的浏览器 需要选择不同的浏览器驱动。
目前主流的浏览器中，谷歌 Chrome 浏览器对 Selenium自动化的支持更加成熟一些。
推荐大家使用 Chrome浏览器 。
确保Chrome浏览器安装好以后，请大家打开下面的连接，访问Chrome 浏览器的驱动下载页面
注意浏览器驱动 必须要和浏览器版本匹配，大版本一致就可以了。
比如，谷歌浏览器版本为 103，那么就下载 103 开头的就可以了~
省略浏览器驱动路径
下载的浏览器驱动是一个压缩包， 解压之后放到一个容易找到的位置，例如 C 盘根目录
我们可以把浏览器驱动 所在目录 加入环境变量 Path ， 写代码时，就可以无需指定浏览器驱动路径了，像下面这样。
wd = webdriver.Chrome()
然后可以配置一些初始化的参数，代码这里我整理好了，直接拿去用就对了，url为1688网站，已经提前搜索了商品的url地址。
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver import ChromeOptions,ActionChains
# 1688搜索页商品数据url
url = 'https://s.1688.com/selloffer/imall_search.htm?keywords=%C5%AE%D7%B0&n=y&netType=1%2C11%2C16&spm=a260k.22518165.search.0'
# 初始化浏览器
def driver_init():
# 加载配置数据
profile_dir = r'--user-data-dir=C:\Users\hjl\AppData\Local\Google\Chrome\User Data'
c_option = webdriver.ChromeOptions()
c_option.add_experimental_option('useAutomationExtension', False)
c_option.add_experimental_option('excludeSwitches', ['enable-automation'])
prefs = {
'profile.default_content_setting_values':
{
'notifications': 2
},
'profile.password_manager_enabled': False,
'credentials_enable_service': False
}
c_option.add_experimental_option('prefs', prefs)
# 开发者模式防止被识别出
# 网址：https://blog.csdn.net/dslkfajoaijfdoj/article/details/109146051
c_option.add_experimental_option('excludeSwitches', ['enable-automation'])
c_option.add_argument("--disable-blink-features=AutomationControlled")
# c_option.add_experimental_option('w3c', False)
c_option.add_argument(profile_dir)
driver = webdriver.Chrome(chrome_options=c_option)
# 执行cdp命令
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
"""
})
return driver
接着，定义一个获取商品标题、价格、购买人数等参数的方法
def get_goods_info(driver):
# 获取商品信息的列表
goods_list = driver.find_element(By.ID, 'sm-offer-list').find_elements(By.CLASS_NAME, 'space-offer-card-box')
print('-----------------')
print('开始爬取数据，数据长度为：', len(goods_list))
for li in goods_list:
link_div = li.find_element(By.CLASS_NAME, 'mojar-element-title').find_element(By.TAG_NAME, 'a')
link = link_div.get_attribute('href')
title = li.find_element(By.CLASS_NAME, 'mojar-element-title').find_element(By.CLASS_NAME, 'title').text
try:
# 这个地方容易报错，所以用try，不知道为什么，有毒
price_div = li.find_element(By.CLASS_NAME, 'mojar-element-price')
price = price_div.find_element(By.CLASS_NAME, 'showPricec').text
sale_sum = price_div.find_element(By.CLASS_NAME, 'sale').text
if sale_sum == '':
sale_sum = '0'
except:
continue
print('-----------------')
print(title, price, sale_sum)
最后，使用程序入口函数启动爬虫程序~
注意，因为1688有部分商品数据是需要动态加载的，因此我们需要让爬虫程序滑动一下页面，触发数据加载之后再去爬取。
# 程序入口
if __name__ == '__main__':
driver = driver_init()
driver.implicitly_wait(3)
# 打开链接获取商品信息
driver.get(url)
# 睡眠1秒，等待浏览器加载完毕
time.sleep(2)
# 循环爬取40页数据
for i in range(40):
print(f'-----------------第{i+1}页-----------------')
# 等待浏览器加载完毕
driver.implicitly_wait(7)
# 获取当前窗口句柄
original_window = driver.current_window_handle
# 获取下一页的按钮
next_btn = driver.find_element(By.CLASS_NAME, 'fui-next')
time.sleep(1)
# 慢慢向下滚动
for i in range(1, 3):
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(1)
# 再慢慢向上滚动
for i in range(1, 3):
driver.execute_script("window.scrollTo(0, 0);")
time.sleep(1)
# 滑动鼠标到页面中部
ActionChains(driver).move_by_offset(0, 300).perform()
time.sleep(1)
# 获取商品信息
get_goods_info(driver)
# 点击下一页
try:
next_btn.click()
except:
break
