学好python做兼职

哈罗，大家好呀！又到了一年一度的“金三银四”时间，对于做it技术的同学来说是跳槽旺季，也是我们这些做Python兼职接单的好机会啊，估计很多做爬虫技术的朋友在工作之余都在忙着接单吧。想要是兼职接单必备的python技术肯定是需要掌握的。其实python还是比较容易学的，普通网页爬虫通常只有四个步骤：目标信息网站、页面抓取、页面分析、数据存储。

虽然掌握python技术爬取普通网站的数据很轻松，但是这并不意味着这就够了，因为真正有价值的资源，往往都是在有着完善反爬虫机制的大型网站里面。这时，就需要用到Python爬虫的重点技术——网站反爬虫策略及其应对方案。对于一些常见的反爬虫措施我们要有所了解，比如：目标检测出是爬虫封了IP、 目标返回了加密过的数据或者脏数据无法辨认、目标网站必须登录才能访等等。这些都是有应对措施的，像遇到封ip的情况，直接使用优质的代理ip就可以了，代理在程序里面的使用也是非常简单的，简单示例给大家看下：

#! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "http://httpbin.org/ip"

    # 要访问的目标HTTPS页面
    # targetUrl = "https://httpbin.org/ip"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text

不同语言代理的使用有细微的差别，对这方面感兴趣的可以在这里了解下www.16yun.cn/#banner。搞不定网站设置的反爬虫措施，就爬不到有价值的资源，更接不到高价值的单，所以小伙伴们好好学习爬虫反爬技术吧。