在做爬虫的时候，我们往往可能这些情况： 网站比较复杂，会碰到很多重复请求。 有时候爬虫意外中断了，但我们没有保存爬取状态，再次运行就需要重新爬取。 还有诸如此类的问题。 那怎么解决这些重复爬取的问题呢

昨天的时候我参加了掘金组织的一场 Python 网络爬虫主题的分享活动，主要以直播的形式分享了我从事网络爬虫相关研究以来的一些经验总结，整个直播从昨天下午 1 点一直持续到下午 5 点，整整四个小时。 整个分享分为三个阶段，第一阶段先介绍了自己从大学以来从事编程开发以来的相关历…

爬虫是 IO 密集型任务，比如我们使用 requests 库来爬取某个站点的话，发出一个请求之后，程序必须要等待网站返回响应之后才能接着运行，而在等待响应的过程中，整个爬虫程序是一直在等待的，实际上没有做任何的事情。 因此，有必要提高程序的运行效率，异步就是其中有效的一种方法。…

通过对Puppeteer的介绍与常用api的介绍，结合实际使用的例子，讲述这个工具的使用方法和实用场景。冲吧！

经常呗爬虫工具来使用。但是 selenium 的缺点也很清除，比如速度十分缓慢、要求严苛的版本配置。还有些网页检测到是否是使用了selenium ,限制比较多。 今天就给大家介绍一款 web 自动化工具 Pyppeteer，在安装配置的便利和运行效率远胜 selenium。加上…