在Python中访问网络资源最有名的库就是requests、aiohttp和httpx。一般情况下，requests只能发送同步请求；aiohttp只能发送异步请求；httpx既能发送同步也能发送异步

前段时间发布了一篇文章介绍一个新兴的类似 Selenium、Pyppeteer 的自动化爬取工具，叫做 Playwright。 那篇文章出来之后，大家纷纷开始试用这个新的神器。 有的朋友试完之后大声叫

在做爬虫的时候，我们往往可能这些情况： 网站比较复杂，会碰到很多重复请求。 有时候爬虫意外中断了，但我们没有保存爬取状态，再次运行就需要重新爬取。 还有诸如此类的问题。 那怎么解决这些重复爬取的问题呢

这个库主要是将 JS 代码运行在本地的 JS 环境中，优点是我们有多种 JS 环境的选择，官方推荐了 PyV8、Node.js、PhantomJS、Nashorn 四种，当然缺点是必须安装一种环境导致不是很轻量，而且调用时有一个启动环境过程，还是有明显缓慢的。 先解决 JS 环…