python爬虫进阶必备之代理

之前在很多爬虫平台分享过关于爬虫的各方面的文章，那么爬虫最本质的是什么呢？今天我们就来探讨下。爬虫的本质就是“骗”过服务器，在爬虫过程中使用的各种反爬手段就是增强服务器的信任度，不停的让服务器认为你是正常人的行为，那么你在爬取过程序中被反扒了，就说明你的反爬策略做的不够好。

我们就以反爬中的限制ip的问题来说，有些网站对ip的限制不是一般的严格，所以在访问的使用对代理的使用上也是需要严格选择的，市面上有太多的代理，实际的效果参差不齐。适合某个业务并一定适合你的业务，所以需要实际测试为准，建议可以从代理的延迟，速度，采集量等就那些综合的评估。

代理ip有两种使用方式，一种是通过api连接获取ip，这种可以自己进行ip池的管理，一种是动态转发隧道代理，根据转发技术实现代理ip的自动请求，是比较方便的使用方式。在选择的时候可以根据自己的业务场景需求来选。但是个人比较推荐动态转发，很适合很多的业务场景。使用的方式也比较简单，简单跟大家示例下：

#! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "http://httpbin.org/ip"

    # 要访问的目标HTTPS页面
    # targetUrl = "https://httpbin.org/ip"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text

在代理方面有需求的小伙伴可以咨询下这家代理www.16yun.cn/，关于更多的爬虫知识我们下次再分享。

​

若有收获，就点个赞吧