2021年高考加油。
寒窗三年苦读，庭游字梦，学盟千载，日日夜夜奋进，只为今朝金榜上。
6月一个月充满期待的月份，6月的7、8、9日3天，是金色的日子，是成功的开始，相信各位高考人员都胸有成竹，三年的付出努力都会将在这三天释放出来。你的每一份付出，终会有回报！2021年6月7日，全国1078万考生步入高考考场，写下青春的答案，为人生开启新的篇章。每个为梦想拼尽全力的人都是好样的！
俗话说，没有高考的人生是不完美的人生，毕竟它是人生最重要的一个转折点，即便不能因此改变你的命运，但是也会决定你今后的命运。高考结束了，对考生来说，接下来最大的一件事就是填报志愿。大数据爬虫可以告诉你如何通过大数据选择填写志愿。
通过这几年的大数据分析，电子制造、营销传播、互联网传媒、医疗服务五大行业在近5年保持了30%以上的营收复合增长率，如果想要稳定长久，说明以上产业，值得大家去选择，但是对于未来有许多新的产业，我们可以通过大数据去分析今后还有哪些行业值得去选择，高考除了尽力取得高分外，更重要的是志愿填报，经过数据分析我们发现在大学品牌、地理位置、专业学科、就业前景、分数线的把控上，考生往往面临艰难选择，在做出最终决定前，需要搜集大量相关信息。所以这时候就需要大数据的分析结果去选择，可以通过网络爬虫使用爬虫代理去获取相关数据从而进行分析：
#! -*- encoding:utf-8 -*-
import base64
import sys
import random
PY3 = sys.version_info[0] >= 3
def base64ify(bytes_or_str):
if PY3 and isinstance(bytes_or_str, str):
input_bytes = bytes_or_str.encode('utf8')
else:
input_bytes = bytes_or_str
output_bytes = base64.urlsafe_b64encode(input_bytes)
if PY3:
return output_bytes.decode('ascii')
else:
return output_bytes
class ProxyMiddleware(object):
def process_request(self, request, spider):
# 代理服务器(产品官网 www.16yun.cn)
proxyHost = "t.16yun.cn"
proxyPort = "31111"
# 代理验证信息
proxyUser = "username"
proxyPass = "password"
request.meta['proxy'] = "http://{0}:{1}".format(proxyHost,proxyPort)
# 添加验证头
encoded_user_pass = base64ify(proxyUser + ":" + proxyPass)
request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass
# 设置IP切换头(根据需求)
tunnel = random.randint(1,10000)
request.headers['Proxy-Tunnel'] = str(tunnel)
