开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第17天，点击查看活动详情

之前的文章中分享了中间件的使用以及如何切换UA，今天分享如何使用代理ip以及对代理ip的切换和使用等。

1 代理ip的使用

1.1 思路分析

1. 代理添加的位置：request.meta中增加proxy字段

2. 获取一个代理ip，赋值给request.meta['proxy']

   • 代理池中随机选择代理ip
   • 代理ip的webapi发送请求获取一个代理ip

1.2 具体实现举例

class ProxyMiddleware(object):
    def process_request(self,request,spider):
        proxy = random.choice(proxies) # proxies可以在settings.py中，也可以来源于代理ip的api
        # proxy = 'http://192.168.1.1:8118'
        request.meta['proxy'] = proxy
        return None # 可以不写return

1.3 检测代理ip是否可用

在使用了代理ip的情况下可以在下载中间件的process_response()方法中处理代理ip的使用情况，检查代理是否可用的原理是判断它对应的响应状态，如果响应状态是200或者302的话，该代理ip就是可以正常使用的，如果该代理ip不能使用可以替换其他代理ip

class ProxyMiddleware(object):
    def process_response(self, request, response, spider):
        if response.status != '200' and response.status != '302':
            #此时对代理ip进行操作，比如删除
            return request

2.总结：

中间件的使用：

1. 完善中间件代码：

   • process_request(self, request, spider)：

     • 当每个request通过下载中间件时，该方法被调用。
     • 返回None值：继续请求
     • 返回Response对象：不再请求，把response返回给引擎
     • 返回Request对象：把request对象交给调度器进行后续的请求

   • process_response(self, request, response, spider)：

     • 当下载器完成http请求，传递响应给引擎的时候调用
     • 返回Resposne：交给process_response来处理
     • 返回Request对象：交给调取器继续请求

2. 需要在settings.py中开启中间件 DOWNLOADER_MIDDLEWARES = { 'myspider.middlewares.UserAgentMiddleware': 543, }