先从 Selenium 为什么适合现代网页采集切入。传统 requests 更适合直接请求 HTML，而现在很多网站大量使用 JavaScript 动态加载内容，单纯发送 HTTP 请求可能拿不到完整页面。
Selenium 可以模拟真实浏览器：打开网页→ 加载JavaScript→ 模拟点击/滚动→获取动态内容→提取数据。
但 Selenium 自动化爬虫也会遇到验证码、访问频率限制、IP限制等问题。因此，本文从基础实现开始，再介绍常见反爬机制以及合规的应对思路。
一、Selenium自动化爬虫：与传统爬虫有何区别？
传统爬虫工具如 requests 更适合直接请求HTML页面，发送HTTP请求后解析返回的静态内容。这种方式速度快、资源消耗低，但有一个明显局限：它拿不到JavaScript动态渲染后的内容。
Selenium 则不同。它本质上是一个浏览器自动化工具，可以驱动真实的Chrome、Firefox等浏览器完成以下流程：
打开网页 → 等待JavaScript执行 → 模拟点击/滚动/输入 → 获取渲染后的完整DOM → 提取数据
当然，代价也很明显：Selenium启动浏览器需要更多内存和CPU资源，采集速度比 requests 慢得多。因此在实际项目中，通常的策略是：能用 requests 拿到的数据就用 requests ，只有动态渲染的页面才动用Selenium。
| 维度 | 传统爬虫（如 requests + BeautifulSoup） | Selenium 自动化爬虫 |
|---|---|---|
| 工作原理 | 直接向服务器发送HTTP请求，解析返回的原始源码。 | 驱动真实浏览器（Chrome/Firefox等），完全渲染页面后再提取 DOM。 |
| JavaScript 支持 | 不支持（无法执行 JS 脚本）。 | 完全支持（与用户在浏览器中看到的界面一致）。 |
| 采集效率 | 极高，资源消耗低。 | 相对较低，因为需要加载 CSS、图片及运行渲染引擎。 |
| 适用场景 | 静态网页、提供公开 API 接口的网站。 | 动态渲染网页、包含复杂交互逻辑（如点击加载、下拉滚动）的页面。 |
二、Selenium爬虫环境怎么搭建？
搭建 Selenium 开发环境非常快捷，仅需以下三个主要步骤：
1. 安装 Python
确保本地环境已安装 Python 3.8 或更高版本。
2. 安装 Selenium 库
通过 pip 命令行快速安装最新的 Selenium 4 扩展包：
Bash
pip install selenium
3. 配置 Chrome WebDriver
在以往的 Selenium 版本中，开发者需要手动下载与本地 Chrome 浏览器版本严格对应的 chromedriver 可执行文件。
从 Selenium 4.6.0 开始，系统内置了 Selenium Manager 驱动管理工具。当你运行代码时，Selenium 会自动检测本地安装的浏览器版本，并自动下载匹配的 WebDriver 驱动，无需再手动配置环境变量。
三、如何使用Selenium实现简单网页采集？
下面通过一段基础代码，演示 Selenium 的核心实战操作：
1. 打开网页与提取数据
from selenium import webdriver
from selenium.webdriver.common.by import By
# 初始化 Chrome 浏览器实例（Selenium Manager 会自动处理 Driver 依赖）
driver = webdriver.Chrome()
try:
# 1. 打开目标网页
driver.get("https://example.com")
print(f"页面标题为: {driver.title}")
# 2. 获取页面元素
heading = driver.find_element(By.TAG_NAME, "h1")
print(f"H1 标题内容: {heading.text}")
finally:
# 采集完毕后务必关闭浏览器，释放系统资源
driver.quit()
2. 模拟用户交互操作（点击与滚动）
在实际采集过程中，数据常常隐藏在翻页按钮或下拉加载区域中：
# 模拟点击按钮
button = driver.find_element(By.CSS_SELECTOR, "button.load-more")
button.click()
# 模拟页面下翻滚动（到底部）
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
3. 等待动态内容加载（关键策略）
切忌在页面刚打开后立刻提取数据。 动态网页的数据加载需要时间，如果直接提取，极易触发 NoSuchElementException 报错。
- 不推荐：time.sleep() 固定挂起代码会造成不必要的等待，且在网络波动时依然可能超时失败。
- 推荐：显式等待（WebDriverWait） 显式等待可以指定一个最长等待时间，并持续轮询目标元素是否在 DOM 中出现或变为可见。一旦条件满足，立刻继续执行后续代码：
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
# 设置最长等待 10 秒，直到指定的元素加载完毕
element = WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.CSS_SELECTOR, ".product-list-item"))
)
print("动态数据加载完毕，开始解析...")
Selenium 为解决现代动态网页采集提供了强大且直观的技术路径。但在构建生产级数据采集系统时，单独依靠自动化工具往往难以应对复杂的网络环境。只有将前端特征隐蔽、合理的等待策略与多节点代理网络相结合，在尊重目标网站服务承受能力的前提下规范运行，才能实现高效、稳定且可持续的数据采集。
