asdbaihu

大数据分析 | 37爬虫

打算做一个实用的爬虫平台

赞

2

|

搜索文章

赞了这篇文章

全栈

·

6年前

爬虫数据库一些简单的设计逻辑

场景：爬取某商城的部分商品。这里至少需要爬取2种资源，一种是商品列表，一种是商品信息。所以要设计1条队列，保存商品信息URL。爬虫1定期爬前N个列表页 URL，把里面...

1

评论

加入于

2019-08-18