8月1日阅读打卡,今天阅读了《scrapy-redis实现分布》,redis维持一个共同的url队列,各个不同机器上的爬虫程序获取到的url都保存在redis的url队列,各个爬虫都从redis的uel队列获取url,并把数据统一保存在同一个数据库里面.
评论