其实很人都以为Python才可以做爬虫，其实C++与Java照样也是可以的，因为爬虫的原理很简单，无非就是分析HTTP(s)请求，然后通过代码模拟浏览器去发起请求，对于发起网络请求框架的我选择的是Ap

一. 背景 Selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。这…

1. 什么是HtmlUnit？ HtmlUnit是一个无界面浏览器Java程序。它为HTML文档建模，提供了调用页面、填写表单、单击链接等操作的API。就跟你在浏览器里做的操作一样。HtmlUnit不错的JavaScript支持(不断改进)，甚至可以使用相当复杂的Ajax库，根…

前端有时候会遇到项目临时需要网上收集数据的情况，什么方案是简单易懂、长期可用的呢，当然是用浏览器终端测试单元做爬虫是最方便的啦，将平时工作中的测试程序进行简单的修改，然后配合爬虫代理，就可以马上开始数

网络爬虫都知道使用HTTP代理去进行业务采集，效果和质量都会上升。使用过HTTP代理的爬虫用户都知道，代理分为两种。一种是传统的API优质代理和隧道转发的爬虫代理加强版。API代理：传统API提取式代

CSV，全称为Comma-Separated Values，中文可以叫作逗号分隔值或字符分隔值，其文件以纯文本形式存储表格数据。该文件是一个字符序列，可以由任意数目的记录组成，记录间以某种换行符分隔。每条记录由字段组成，字段间的分隔符是其他字符或字符串，最常见的是逗号或制表符。…

爬虫，又称为网页蜘蛛(spider)，就是能够在互联网中检索自己需要的信息的程序或脚本。 爬虫，简单的说就是一个http(https)请求，获取到对面网页的源码，然后从网页的源码中抓取自己需要的信息。而html代码的规则是基于xml的，所以可以通过一定解析规则和逻辑完成我们的数…