大数据时代，使用代理IP的网络爬虫工作者也越来越多，也都听说过亿牛云隧道转发的爬虫代理加强版，但又不太了解什么隧道转发的爬虫代理，也不清楚如何使用爬虫代理或者爬虫代理的好处？
隧道转发爬虫代理：“亿牛云爬虫代理IP”通过固定云代理服务地址，建立专线网络链接，代理平台自动实现毫秒级代理IP切换，保证了网络稳定性和速度，避免爬虫客户在代理IP策略优化上投入精力。
大家都很清楚，正常使用API代理IP发送请求的过程：网络爬虫用户通过自己的程序去访问亿牛云API的URL连接，通过URL定时获取代理IP信息，爬虫程序通过这些代理IP向目标网站发出请求获取数据，然后储存下来。完成爬虫过程。这就是一般网络爬虫用户使用代理IP的方法，其实用代理IP去获取数据方法不止API方式一种，网络上有许多种使用代理IP的方式，隧道转发的爬虫代理也是其中之一，而且隧道转发的爬虫代理相对API代理，使用方便且简单，速度快。
亿牛云隧道转发爬虫代理：网络爬虫只需要修改接口，提取代理信息4个参数（域名、端口、用户名和密码）配置到代码使用。运行时注意观察http返回的状态码，返回200表示正确。网络爬虫工作者的程序只需要发出请求获取数据就可以，我们的服务器会转发请求。不需要做IP池管理维护，只需要发出请求获取数据，统计成功率即可。
隧道转发的爬虫代理使用方式一出来，深受网络爬虫工作者的喜爱，不仅使用方便，且速度还快。
#! -*- encoding:utf-8 -*-
import base64
import sys
import random
PY3 = sys.version_info[0] >= 3
def base64ify(bytes_or_str):
if PY3 and isinstance(bytes_or_str, str):
input_bytes = bytes_or_str.encode('utf8')
else:
input_bytes = bytes_or_str
output_bytes = base64.urlsafe_b64encode(input_bytes)
if PY3:
return output_bytes.decode('ascii')
else:
return output_bytes
class ProxyMiddleware(object):
def process_request(self, request, spider):
# 代理服务器(产品官网 www.16yun.cn)
proxyHost = "t.16yun.cn"
proxyPort = "31111"
# 代理验证信息
proxyUser = "username"
proxyPass = "password"
request.meta['proxy'] = "http://{0}:{1}".format(proxyHost,proxyPort)
# 添加验证头
encoded_user_pass = base64ify(proxyUser + ":" + proxyPass)
request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass
# 设置IP切换头(根据需求)
tunnel = random.randint(1,10000)
request.headers['Proxy-Tunnel'] = str(tunnel)
