网络爬虫使用隧道爬虫IP

IP的概念相信大多数人都清楚了，我们在网上上网的时候使用的都是自己的IP，一个IP地址可以登陆很多不同的网站，每个人的IP地址都是独一无二的，也是不可以复制的，这样的IP地址显得非常的特殊，日常生活中很多人都会去定期更换自己的IP地址，因为长时间使用一个IP地址是非常不安全的，而且只用1个ip也无法进行网络爬虫。

如何让爬虫畅通无阻地高效稳定地夜以继日地永不停息地工作，是无数爬虫工作者梦寐以求的愿望。事实再次证明，世上无难事只怕有心人，只要拥有一个独享IP池，就可以让爬虫再也不怕封IP，从此高枕无忧。

采集数据使用代理IP可以突破IP的限制，还能加快采集的速度。现在很多网站都有反爬虫机制，如果识别到正常用户访问就可以正常，如果频繁访问，就容易被怀疑抓取，从而被封IP。这时代理IP就非常重要了，反爬虫机制只会识别IP地址，使用代理IP就可以轻松更换IP地址，爬虫工作就可以顺利进行了。

使用爬虫代理采集数据：

<?php
    // 要访问的目标页面
    $url = "http://httpbin.org/ip";
    $urls = "https://httpbin.org/ip";

    // 代理服务器(产品官网 www.16yun.cn)
    define("PROXY_SERVER", "tcp://t.16yun.cn:31111");

    // 代理身份信息
    define("PROXY_USER", "username");
    define("PROXY_PASS", "password");

    $proxyAuth = base64_encode(PROXY_USER . ":" . PROXY_PASS);

    // 设置 Proxy tunnel
    $tunnel = rand(1,10000);

    $headers = implode("\r\n", [
        "Proxy-Authorization: Basic {$proxyAuth}",
        "Proxy-Tunnel: ${tunnel}",
    ]);
    $sniServer = parse_url($urls, PHP_URL_HOST);
    $options = [
        "http" => [
            "proxy"  => PROXY_SERVER,
            "header" => $headers,
            "method" => "GET",
            'request_fulluri' => true,
        ],
        'ssl' => array(
                'SNI_enabled' => true, // Disable SNI for https over http proxies
                'SNI_server_name' => $sniServer
        )
    ];
    print($url);
    $context = stream_context_create($options);
    $result = file_get_contents($url, false, $context);
    var_dump($result);

    // 访问 HTTPS 页面
    print($urls);
    $context = stream_context_create($options);
    $result = file_get_contents($urls, false, $context);
    var_dump($result);
?>