在电商领域，根据关键词获取商品列表是常见的需求。某手作为国内知名的电商平台，提供了丰富的商品资源。通过 Python 爬虫技术，我们可以高效地根据关键词获取某手商品列表，并提取商品的基本信息。本文将详细介绍如何利用 Python 爬虫根据关键词获取某手商品列表，并提供完整的代码示例。
一、准备工作
（一）安装必要的库
确保你的开发环境中已经安装了以下库：
- requests：用于发送 HTTP 请求。
- BeautifulSoup：用于解析 HTML 文档。
- pandas：用于数据处理和存储。
可以通过以下命令安装这些库：
pip install requests beautifulsoup4 pandas
（二）注册平台账号
如果目标平台提供 API 接口，需要注册相应平台的开发者账号，获取 App Key 和 App Secret。这些凭证将用于后续的 API 调用。
二、编写爬虫代码
（一）发送 HTTP 请求
使用 requests 库发送 GET 请求，获取商品列表页面的 HTML 内容。
import requests
def get_html(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
response = requests.get(url, headers=headers)
if response.status_code == 200:
return response.text
else:
print("Failed to retrieve the page")
return None
（二）解析 HTML 内容
使用 BeautifulSoup 解析 HTML 内容，提取商品列表中的商品信息。
from bs4 import BeautifulSoup
def parse_html(html):
soup = BeautifulSoup(html, 'lxml')
products = []
product_items = soup.find_all('div', class_='product-item')
for item in product_items:
title = item.find('h2', class_='product-title').text.strip()
price = item.find('span', class_='product-price').text.strip()
description = item.find('div', class_='product-description').text.strip()
image_url = item.find('img', class_='product-image')['src']
products.append({
'title': title,
'price': price,
'description': description,
'image_url': image_url
})
return products
（三）根据关键词获取商品列表
根据关键词构建商品列表页面的 URL，并获取其 HTML 内容。
import pandas as pd
def get_product_list_by_keyword(baseUrl, keyword, page):
url = f"{baseUrl}?keyword={keyword}&page={page}"
html = get_html(url)
if html:
return parse_html(html)
return []
def main():
baseUrl = "https://example.com/search" # 替换为目标平台的商品列表页面 URL
keyword = "耳机" # 替换为实际关键词
page = 1 # 替换为实际页码
products = get_product_list_by_keyword(baseUrl, keyword, page)
for product in products:
print("商品名称:", product['title'])
print("商品价格:", product['price'])
print("商品描述:", product['description'])
print("商品图片URL:", product['image_url'])
print("----------------------------")
# 保存到 CSV 文件
df = pd.DataFrame(products)
df.to_csv('products.csv', index=False, encoding='utf-8')
print('数据已保存到 CSV 文件')
if __name__ == "__main__":
main()
三、注意事项和建议
（一）页面结构变化
目标网站的页面结构可能会发生变化，因此需要定期检查和更新选择器（find 和 find_all 方法中的参数）。
（二）异常处理
在发送请求和解析 HTML 时，可能会遇到各种异常情况，如请求失败、页面结构变化等。因此，需要在代码中添加异常处理逻辑，确保爬虫的稳定运行。
（三）遵守法律法规
在进行爬虫操作时，必须严格遵守相关法律法规，尊重网站的 robots.txt 文件规定。
（四）合理设置请求频率
避免过高的请求频率导致对方服务器压力过大，甚至被封禁 IP。建议每次请求之间至少间隔 1-2 秒。
四、总结
通过上述步骤和代码示例，你可以轻松地利用 Python 爬虫根据关键词获取某手商品列表。希望本文能为你提供有价值的参考，帮助你更好地利用爬虫技术获取电商平台数据。在开发过程中，务必注意遵守平台规则，合理设置请求频率，并妥善处理异常情况，以确保爬虫的稳定运行。
