在不用爬虫框架的情况下，我经过多方学习，尝试实现了一个分布式爬虫系统，并且可以将数据保存到不同地方，类似 MySQL、HBase 等。因为此系统基于面向接口的编码思想来开发，所以具有一定的扩展性，有兴趣的朋友直接看一下代码，就能理解其设计思想。

MongoDB中的一组副本是一群mongod进程，这些进程维护同样的数据集。副本集提供了冗余和高可用性，是生产环境部署的基础。 通过在不同的服务器上存储相同的数据，副本机制保证了一定程度的容错，即在一个数据库挂掉后，数据服务仍然可用。 在某些情况下，副本可以提升数据的读性能，因…

spark 系列第 7 篇，教你如何使用 apache spark dataframe 进行大数据分析

前言 本文主要针对的是关系型数据数据库MySql。键值类数据库可以参考最简大数据Redis。先简单梳理下Mysql的基本概念，然后分创建时和查询时这两个阶段的优化展开。 1.0 基本概念简述 1.1 逻辑架构 第一层：客户端通过连接服务，将要执行的sql指令传输过来 第二层：服务…

MWS 系统中使用 java POI 打开大数据出现 OutOfMemory(内存溢出)，本文针对性地优化了的 Excel（大数据 40000 + 行）的导入功能。