最近误入一个免费（daoban）资源的分享群（正经脸），群里每天都在刷资源链接。但是大家都知道，百度云的分享链接是很容易被河蟹的，群里除了分享链接外，就是各种抱怨 “怎么又失效了”，“又河蟹了...”。本着学习技术的初心，于是我就开始研究怎样自动爬取微信群的消息并自动转存到自己的云盘。

爬虫开发中使用 xpath 进行页面数据匹配和获取

Python 爬虫入门，只需三步！

总结优化的几个要点

用 scrapy 爬虫统计作者在简书的文章阅读和点赞情况

这篇文章继续讲解如何一步步使用 Celery 构建分布式爬虫。

最近做项目,后端一直在用一个叫Vertx的高性能网络库.高性能到底有多高,跟其他的网络库比起来差距有多大,这些都没有测试,高性能只是建立在我的直觉上…我之所以认为Vertx高性能,是因为它的Request-Response模型是一种类似于nodejs的基于事件通知和函数回调的,…

利用Python爬虫抓取三生三世十里桃花的豆瓣电影短评

本项目是个人第一次百万级数据的爬取，当然由于爬取效率方面需要改进，所以详细用户信息选择性的只爬了100+关注人数共4.1w+的id。另外也是第一次数据可视化，从完全不懂Echarts的各种参数，硬刚配置项，到勉强获得了上述还算能看的一些数据图，不少地方还需进一步学习、改进，以求获得更合乎要求的、理想的、自定义的可视化图。