在做爬虫的时候，我们往往可能这些情况： 网站比较复杂，会碰到很多重复请求。 有时候爬虫意外中断了，但我们没有保存爬取状态，再次运行就需要重新爬取。 还有诸如此类的问题。 那怎么解决这些重复爬取的问题呢