在做爬虫的时候，我们往往可能这些情况： 网站比较复杂，会碰到很多重复请求。 有时候爬虫意外中断了，但我们没有保存爬取状态，再次运行就需要重新爬取。 还有诸如此类的问题。 那怎么解决这些重复爬取的问题呢

大家好，我是boy哥。 相信玩过爬虫的朋友都知道selenium，一个自动化测试的神器工具。写个Python自动化脚本解放双手基本上是常规的操作了，爬虫爬不了的，就用自动化测试凑一凑。 虽然selenium有完备的文档，但也需要一定的学习成本，对于一个纯小白来讲还是有些门槛的。…