爬虫关于文书网的一些分享

最近看到微信群里大家有在聊关于文书网的数据获取，这个网站一直都是比较难访问的，数据的获取更是不容易。所以我们今天就根据这个网站来进行一次分析，分享交流下这种类型的网站该如何去获取数据。

这里重点讨论下文书网的反爬机制，由于文书网的反爬监控很严格（一级验证码,二级验证码,js反爬,IP检测)每样反爬阻碍都是不好应对的，但是也是有解决方法的，比如网站的ip检测，我们就可以采用亿牛云爬虫代理加强版方案,每一次request请求都是不同的IP,这样就不会触发反爬检测了。主要是ip质量好，ip池足够大，基本上每个IP都可以用,而且使用方式还很方便,直接用它的代理服务器发出请求,不用像传统api模式那样还需要取出IP,再代入IP进行请求。

速度配置：我们在程序里面配置的是5个线程，;因为我用的代理配置是基础的每秒5个请求数,所以在此设置线程数为5，如果想爬取更快,获取更多的数据。可以加大代理请求数,最高可以加到300的请求数,我滴天呀,那得多快啊，那些需要爬几千万数据的不是只要几天就搞定了吗。

<?php
    // 要访问的目标页面
    $url = "http://httpbin.org/ip";
    $urls = "https://httpbin.org/ip";

    // 代理服务器(产品官网 www.16yun.cn)
    define("PROXY_SERVER", "tcp://t.16yun.cn:31111");

    // 代理身份信息
    define("PROXY_USER", "username");
    define("PROXY_PASS", "password");

    $proxyAuth = base64_encode(PROXY_USER . ":" . PROXY_PASS);

    // 设置 Proxy tunnel
    $tunnel = rand(1,10000);

    $headers = implode("\r\n", [
        "Proxy-Authorization: Basic {$proxyAuth}",
        "Proxy-Tunnel: ${tunnel}",
    ]);
    $sniServer = parse_url($urls, PHP_URL_HOST);
    $options = [
        "http" => [
            "proxy"  => PROXY_SERVER,
            "header" => $headers,
            "method" => "GET",
            'request_fulluri' => true,
        ],
        'ssl' => array(
                'SNI_enabled' => true, // Disable SNI for https over http proxies
                'SNI_server_name' => $sniServer
        )
    ];
    print($url);
    $context = stream_context_create($options);
    $result = file_get_contents($url, false, $context);
    var_dump($result);

    // 访问 HTTPS 页面
    print($urls);
    $context = stream_context_create($options);
    $result = file_get_contents($urls, false, $context);
    var_dump($result);
?>
curl
GuzzleHttp

总结，如果以上的分享对家有帮助大家就分享学习下，大家有更好的方案也可以留言交流呀！