HTTP代理的获取方式

大数据时代的数据采集都是通过网络爬虫来完成的，网络爬虫如果想要采集大量的数据信息，就需要通过爬虫代理IP来完成。HTTP代理有许多功能，不仅能解决爬虫限制，隐藏真实用户信息,也能通过HTTP代理来采集到自己想要的一些数据。那如何才能获取到http代理呢？

1、各大网站上获取免费代理IP

互联网上有许多网站，都会有一些免费IP可以使用，可以通过浏览器搜索免费代理IP。或者一些代理商业会提供一些免费代理IP，网络爬虫都可以抓取免费IP来使用。只不过免费IP的质量不行，不稳定，效率低，而且还要花费大量的时间去验证那些IP能否使用。只能适合那些小型个人业务，对IP需求量小，质量不高的网络爬虫使用。虽然降低了成本，但是提高的业务时间。

2、购买付费代理

可以通过网站搜索代理IP，去找一些付费的高匿代理IP。虽然会花费一些成本，但是不用去担心IP质量问题，不用去维护代理服务器等。付费的高匿优质代理，IP一般都很稳定，速度快。比那些免费IP好用许多，适合于大型业务和企业公司业务。但是网络的代理IP商家有许多，那如何挑选适合自己的代理IP呢？网络爬虫可以选择一些代理IP来进行测试对比效果，来看对业务的有效率。也可以试试亿牛云API提取的优质代理或者隧道转发的爬虫代理加强版都可以测试对比。

代理IP的获取方式有许多。找到完全适合自己业务的代理IP，就需要爬虫用户亲自去实际看效果，选择适合的HTTP代理，购买隧道转发的爬虫代理加强版，节省了很大的成本，极大地提高了工作的效率，使用起来也更安心。

<?php
    // 要访问的目标页面
    $url = "http://httpbin.org/ip";
    $urls = "https://httpbin.org/ip";

    // 代理服务器(产品官网 www.16yun.cn)
    define("PROXY_SERVER", "tcp://t.16yun.cn:31111");

    // 代理身份信息
    define("PROXY_USER", "username");
    define("PROXY_PASS", "password");

    $proxyAuth = base64_encode(PROXY_USER . ":" . PROXY_PASS);

    // 设置 Proxy tunnel
    $tunnel = rand(1,10000);

    $headers = implode("\r\n", [
        "Proxy-Authorization: Basic {$proxyAuth}",
        "Proxy-Tunnel: ${tunnel}",
    ]);
    $sniServer = parse_url($urls, PHP_URL_HOST);
    $options = [
        "http" => [
            "proxy"  => PROXY_SERVER,
            "header" => $headers,
            "method" => "GET",
            'request_fulluri' => true,
        ],
        'ssl' => array(
                'SNI_enabled' => true, // Disable SNI for https over http proxies
                'SNI_server_name' => $sniServer
        )
    ];
    print($url);
    $context = stream_context_create($options);
    $result = file_get_contents($url, false, $context);
    var_dump($result);

    // 访问 HTTPS 页面
    print($urls);
    $context = stream_context_create($options);
    $result = file_get_contents($urls, false, $context);
    var_dump($result);
?>