python爬虫带你看奥运

距离东京奥运会开幕只剩不到十天，不知道大家有没有很期待这届奥运会呢?毕竟这届奥会能开启还是充满了阻碍的。关于奥运会对我们来说不管其他届奥运会怎么样，08年的奥运会在我们心里就是yyds。

那么我们今天就通过大数据带大家回顾下08年奥运会的精彩。我们利用python采集下08年奥运会的赛事结果，希望可以通过以往的历史成绩激励我们中国的奥运健儿在东京奥运会上取的更好的胜利。

现在互联网上的网页千奇百怪，所以，抓取之前一定得踩踩点，找准网站。

打开网页：baike.baidu.com/view/16667.…

接下来就是步骤了：

#! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "http://baike.baidu.com/view/16667.htm"

    # 要访问的目标HTTPS页面
    # targetUrl = "http://baike.baidu.com/view/16667.htm"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text

最后数据分析什么的就好说了啦。关于奥运会大家有没有自己喜欢的项目，可以看下赛事日程到时候就不会错过啦。最后希望中国代理团在这次奥运会上再战佳绩。