本文作者韦玮原创，转载请注明出处。项目需求与问题引入有时，我们想爬取腾讯动漫中的漫画，比如，我们不妨打开腾讯动漫中某一个动漫的网址http://ac.qq.com/Comic/comicInfo/id/539443，如下图所示：然后，我们点击“开始阅读”，出现如下所示界面： ​可…

Fast and Elegant Scraping Framework for Gophers

我们日常使用浏览器的步骤为：启动浏览器、打开一个网页、进行交互。而无头浏览器指的是我们使用脚本来执行以上过程的浏览器，能模拟真实的浏览器使用场景。 本文主要介绍 Google 提供的无头浏览器(headless Chrome), 他基于 Chrome DevTools prot…

共享经济的浪潮席卷着各行各业，而出行行业是这股大潮中的主要分支。如今，在城市中随处可见共享单车的身影，给人们的生活出行带来了便利。相信大家总会遇到这样的窘境，在APP中能看到很多单车，但走到那里的时候，才发现车并不在那里。有些车不知道藏到了哪里；

之前看过一篇脑洞大开的文章，介绍了各个大厂的前端反爬虫技巧，但也正如此文所说，没有100%的反爬虫方法，本文介绍一种简单的方法，来绕过所有这些前端反爬虫手段。 可以发现，百度指数实际上在前端做了一定的反爬虫策略。当鼠标移动到图表上时，会触发两个请求，一个请求返回一段html，一…

各位朋友大家好，我是711，做爬虫这一行4年了，写过大大小小无数的爬虫，有工作需要，也有自己兴趣爱好，也有自己接一些小项目赚外快。这些都是题外话，今天我就与大家分享自己来到知乎的第一篇爬虫文章

定位于互联网数据采集，为具备一定Go或JS编程基础的人提供一个只需关注规则定制的功能强大的爬虫工具。它支持单机、服务端、客户端三种运行模式，拥有Web、GUI、命令行三种操作界面；规则简单灵活、批量任务并发、输出方式丰富（mysql/mongodb/kafka/csv/excel等）、有大量Demo共享；另外它还支持横纵向两种抓取模式，支持模拟登录和任务暂停、取消等一系列高级功能。