二手房信息知多少

5月20日下午消息，贝壳找房发布消息，公司创始人兼董事长左晖先生因肺癌于2021年5月20日去世。肺癌是癌症中发病率和死亡率增长最快，并且呈现年轻化的趋势，是对人群的生命和健康危险最大的疾病之一，所我们都需要好好的爱护身体。

我们都知道他是房产中介的巨头，贝壳，链接在我们的日常生活中随处可见。记得之前公司有个项目就是需要采集各种二手房数据，其中就有贝壳和链家。今天我们就用python采集一些数据，来分享给大家，也可以对一些想买二手房的人有帮助。

这里分享下大家在使用代理解决爬虫时的一个好方法，以前很多人通过使用api获取代理，需要花时间去进行ip池的管理，对很多爬虫数据需求量，时间有限的人来说比较浪费时间。最近我们发现了一种新的方式叫爬虫代理动态转发模式，我是通过一家亿牛云介绍使用的，使用一段时间感觉是比之前的方式快捷很多。所以分享给大家可以试试。

接下来我们分享下采集链接的完整代码示例：

#! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "http://www..lianjia.com"

    # 要访问的目标HTTPS页面
    # targetUrl = "https://httpbin.org/ip"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text