要玩大数据，没有数据怎么玩？这里推荐一些33款开源爬虫软件给大家。

本节我们将介绍新浪微博宫格验证码的识别。微博宫格验证码是一种新型交互式验证码，每个宫格之间会有一条指示连线，指示了应该的滑动轨迹。我们要按照滑动轨迹依次从起始宫格滑动到终止宫格，才可以完成验证，如下图所示。 鼠标滑动后的轨迹会以黄色的连线来标识，如下图所示。 访问新浪微博移动版…

很多时候，在爬取没有登录的情况下，我们也可以访问一部分页面或请求一些接口，因为毕竟网站本身需要做SEO，不会对所有页面都设置登录限制。 但是，不登录直接爬取会有一些弊端，弊端主要有以下两点。 设置了登录限制的页面无法爬取。如某论坛设置了登录才可查看资源，某博客设置了登录才可查看…

自处女作《爬取张佳玮138w+知乎关注者：数据可视化》一文分布后，来简书快一个月了（20170831）。但一直不怎么熟悉这个平台，因此，这回爬取简书app里的推荐作者并进行简单可视化，以增进对简书的了解。 爬取简书app的过程此文不做过多展开。大致过程如下： 用fiddler软…

本篇博主将和大家分享几个非常有用的爬虫小工具，这些小工具在实际的爬虫的开发中会大大减少你的时间成本，并同时提高你的工作效率，真的是非常实用的工具。 这些工具其实是Google上的插件，一些扩展程序，并且经博主亲测，无任何问题。最后的最后，博主将提供小工具的获取方式。 好了，话不…

最近就有一部“怀旧”题材的电影，未播先火，那就是刘若英的处女作——《后来的我们》。青春，爱情，梦想，一直是“怀旧”题材的核心要素，虽然电影现在还未上映，但先行发布的主题曲《我们》，已经虐哭了不少人。在MV里，歌声清清浅浅，诉说着那些年关于爱情里的遗憾。

Appium是一个跨平台移动端自动化测试工具，可以非常便捷地为iOS和Android平台创建自动化测试用例。它可以模拟App内部的各种操作，如点击、滑动、文本输入等，只要我们手工操作的动作Appium都可以完成。在前面我们了解过Selenium，它是一个网页端的自动化测试工具。…

本文使用开源协程网络库 Trip，解决验证代理时耗时的问题。验证大量的网上代理一直是爬虫很麻烦的一个工作。 例如我要发出十万份请求，十个请求一个代理，每个代理验证的延时五秒钟

Phantomjs官网介绍是：不需要浏览器的完整web协议栈(Full web stack No browser required)，也就是常说的无头浏览器——或者好听点叫做：无界面的web解析器。 由于“无头”——免去了渲染可视化的网页界面，她的速度要比一般的浏览器快不少，又…