import requests
from bs4 import BeautifulSoup
# 爬虫信息
proxy_host =
proxy_port =
# 请求URL
url =
# 创建一个requests的Session对象,并设置
session = requests.Session()
session.proxies = {
'http': f'//{proxy_host}:{proxy_port}',
'https': f'//{proxy_host}:{proxy_port}'
}
# 发送GET请求,获取网页内容
response = session.get(url)
response.encoding = 'utf-8'
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到所有的商品内容
items = soup.find_all('div', class_='item')
# 打印商品内容
for item in items:
print(item.text)
这个程序只是一个简单的示例,有什么问题可以欢迎留言哈