下载中间件
下载中间件是scrapy提供用于在爬虫过程中修改Request和Response,用于扩展scrapy的功能
使用方法:
- 编写一个Download Middlewares和我们编写一个pipeline一样,定义一个类,然后再settings中开启
Download Middlewares默认方法:
处理请求,处理响应,对应两个⽅法
process_request(self,request,spider):
当每个request通过下载中间件时,该方法被调用
process_response(self,request,response,spider):
当下载器完成http请求,传递响应给引擎的时候调用
process_request(request,spider)
当每个Reques对象经过下载中间件时会被调用,优先级越高的中间件,越先调用; 该方法应该返回对象:None/Response对象/Request对象/抛出IngoreRequst异常
- 返回None: scrapy会继续执行其他中间件相应的方法
- 返回Response对象:scrapy不会再调用其他中间件的process_request方法,也不会去发起下载,而是直接返回该Response对象
- 返回Request对象: scrapy不会再调用其他中间件的process_request()方法, 而是将其放置调度器待调度下载
- 如果这个方法抛出异常,则会嗲用process_exception方法
process_response(request,response,spider)
当每个Response经过下载中间件会被调用,优先级越高的中间件,越晚被调用,与process_request()相反;该方法返回以下对象Response对象/Request对象/抛出IngoreRequst异常
- 返回Response对象:scrapy会继续调用其他中间件的process_response方法;
- 返回Request对象:停止中间器调用,将其放置到调度器待调度下载
- 抛出IgnoreRequest异常:Request.errback会被调用来处理函数,如果没有处理,它将会被忽略且不会写进日志
随机请求头中间件
爬虫在频繁访问一个页面的时候,这个请求如果一直保持,那么很容易被服务器发现,从而禁止掉这个请求头的访问. 因此我们要再访问这个页面之前随机的更改请求头,这样才可以避免爬虫被抓. 随机更改请求头,可以在下载中间件实现. 在请求发送给服务器之前,随机的选择一个请求头.这样就可以避免总使用一个请求头
测试请求头网址:httpbin.org/user-agent
在middlewares.py⽂件中
class RandomUserAgent(object):
def process_request(self, request, spider):
# 随机请求头
user_agent = random.choice(spider.settings['USER_AGENTS']) # 随机取一个值
print(user_agent)
request.headers['User-Agent'] = user_agent
# 代理ip
# request.meta['proxy'] = ip代理池
request.meta['proxy'] = "http://117.42.94.144:16374"
httpbin.org/ip 可以查看IP,可以将start_urls更改为这个测试代理ip
但免费的代理ip很难使用,就是在使用过程中会连接超时,所以如果在项目中还是去需要付费购买一批ip代理,学习过程中看个人喜好
在settings.py文件中开启中间件
DOWNLOADER_MIDDLEWARES = {
"mw.middlewares.MwDownloaderMiddleware": 543,
"mw.middlewares.RandomUserAgent": 544,
}
在settings.py文件中准备一个请求头列表
USER_AGENTS = [
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1;Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729;.NET CLR 2.0.50727; Media Center PC 6.0)",
"Mozilla/5.0 (compatible;MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2;.NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NETCLR 1.0.3705; .NET CLR 1.1.4322)",
"Mozilla/4.0 (compatible; MSIE7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727;InfoPath.2; .NET CLR 3.0.04506.30)",
"Mozilla/5.0 (Windows; U;Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko,Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
"Mozilla/5.0 (X11; U;Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3)Arora/0.6",
"Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US;rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
"Mozilla/5.0 (Windows; U;Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0Kapiko/3.0",
"Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322Kazehakase/0.4.5"]
