爬虫学习之新的代理模式接入分享

关于招聘网站的数据获取，我们爬虫小伙伴肯定都实验过，之前小编也分享过抓取拉勾网、直聘网的信息。但是之前呢属于小白进阶学习，各方面都稍微的差点。那么我们今天用成熟的技术通过scrapy来抓取猎聘网的信息，猎聘网是比较权威的一个网站，所以网站的反爬方面肯定也是更严的，但我们通过之前的学习总结了经验。面对阻碍我们也有了解决的办法。

今天我们分享下通过使用不同的代理方式实现猎聘网数据的获取嘛那就是动态转发。这是一种自动转发技术，通过配置固定代理域名、端口、用户名和密码直接使用，默认每个http请求自动转发，不需要绑定IP白名单，方便快捷，适合快速启动项目。这个相比我们传统的api获取模式来说更适合一些新手，有兴趣的可以来了解下。我们简单的分享下关于代理的接入模块。示例如下：

#! -*- encoding:utf-8 -*-
        import base64            
        import sys
        import random

        PY3 = sys.version_info[0] >= 3

        def base64ify(bytes_or_str):
            if PY3 and isinstance(bytes_or_str, str):
                input_bytes = bytes_or_str.encode('utf8')
            else:
                input_bytes = bytes_or_str

            output_bytes = base64.urlsafe_b64encode(input_bytes)
            if PY3:
                return output_bytes.decode('ascii')
            else:
                return output_bytes

        class ProxyMiddleware(object):                
            def process_request(self, request, spider):
                # 代理服务器(产品官网 www.16yun.cn)
                proxyHost = "t.16yun.cn"
                proxyPort = "31111"

                # 代理验证信息
                proxyUser = "16GJUVVQ"
                proxyPass = "475810"

                request.meta['proxy'] = "http://{0}:{1}".format(proxyHost,proxyPort)

                # 添加验证头
                encoded_user_pass = base64ify(proxyUser + ":" + proxyPass)
                request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass                    

                # 设置IP切换头(根据需求)
                tunnel = random.randint(1,10000)
                request.headers['Proxy-Tunnel'] = str(tunnel)

我们今天就主要分享下新的代理模式的接入方式，具体的数据抓取过程我们下次再详细的分享。在学习爬虫代理这块的小伙伴可以分享交流下。