xrongz

赞

0

|

搜索文章

分布式爬虫（五）| 青训营笔记

实战：爬取京东、苏宁易购全网手机商品数据因为前面在介绍这个系统的时候也提到了，我只写了京东和苏宁易购的网页解析器，所以接下来也就是爬取其全网的手机商品数据。\ 环境说明需要确保Redis、ZooK

3年前
441
点赞
评论

分布式爬虫（四）| 青训营笔记

监控报警系统监控报警系统的加入主要是为了让使用者可以主动发现节点宕机，而不是被动地发现，因为实际中爬虫程序可能是持续不断运行的，并且我们会在多个节点上部署我们的爬虫程序，因此很有必要对节点进行监控，

3年前
144
1
评论

分布式爬虫（三）| 青训营笔记

URL调度系统 URL调度系统是实现整个爬虫系统分布式的桥梁与关键，正是通过URL调度系统的使用，才使得整个爬虫系统可以较为高效（Redis作为存储）随机地获取URL，并实现整个系统的分布式。\ UR

3年前
359
1
评论

分布式爬虫（二）| 青训营笔记

爬虫系统说明：ZooKeeper监控属于监控报警系统，URL调度器属于URL调度系统爬虫系统是一个独立运行的进程，我们把我们的爬虫系统打包成jar包，然后分发到不同的节点上执行，这样并行爬取数据可

3年前
158
点赞
评论

分布式爬虫（一） | 青训营笔记

这是此次大项目的实现，在不用爬虫框架的情况，经过多方学习，尝试实现了一个分布式爬虫系统，并且可以将数据保存到不同地方，类似MySQL、HBase等。基于面向接口的编码思想来开发，因此这个系统具有一定

3年前
223
点赞
评论

个人成就

文章被点赞 2

文章被阅读 1,325

加入于

2022-04-27