我们在前面已经实现了Scrapy微博爬虫，虽然爬虫是异步加多线程的，但是我们只能在一台主机上运行，所以爬取效率还是有限的，分布式爬虫则是将多台主机组合起来，共同完成一个爬取任务，这将大大提高爬取的效率。 在了解分布式爬虫架构之前，首先回顾一下Scrapy的架构，如下图所示。 S…

异步爬虫代理池，以 Python asyncio 为基础，旨在充分利用 Python 的异步性能。 项目使用了 sanic，一个异步网络框架。所以建议运行 Python 环境为 Python3.5+，并且 sanic 不支持 Windows 系统，Windows 用户（比如我 …

大家好，并发编程 进入第八篇。 注：本系列已在微信公众号更新完成。查看最新文章，请关注公众号获取。 直到上一篇，我们终于迎来了Python并发编程中，最高级、最重要、当然也是最难的知识点之一（协程）。 当你看到这一篇的时候，请确保你对生成器的知识，有一定的了解。当然不了解，也没…

学习 Python 这么久了，说起 Python 的优雅之处，能让我脱口而出的， Descriptor（描述符）特性可以排得上号。 描述符 是Python 语言独有的特性，它不仅在应用层使用，在语言的基础设施中也有涉及。 我可以大胆地猜测，你对于描述符的了解是始于诸如 Djan…

2017年12月28日下午，微信发布了 6.6.1 版本，加入了「小游戏」功能，并提供了官方 demo「跳一跳」。 https://wangshub.github.io 项目地址 这是一个 2.5D 插画风格的益智游戏，玩家可以通过按压屏幕时间的长短来控制这个「小人」跳跃的距离…