sunny落花生

Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用并行框架，是专为大规模数据处理而设计的快速通用的大数据处理引擎及...

HBase是建立在Hadoop文件系统之上的、分布式面向列的数据库。Hive是基于Hadoop的一个数据仓库工具，用于结构化数据的查询、分析和汇总。...

笔者结合在团队中多年的代码检视遇到的情况，结合项目编码实践经验，对Stream的核心要点与易混淆用法、典型使用场景等进行了详细的梳理总结，希望可以帮助大家对Stream有个...

ArrayList和Vector 都用一个初始的容量大小，当存储它们里面的元素超出阈值，就需要增加两个集合的分别的存储空间，考虑到扩容的成本， 不是只增加一个存储单元，而是...

Shuffle的中文含义是混洗，官方定义是：一种让数据重新分布以使得某些数据被放在同一分区里的一种机制。Shuffle的过程中，存在着大量的网络消耗传输数据，会在磁盘上产生...

常规性能调优四：并行度调节   Spark作业中的并行度指各个stage的task的数量。   如果并行度设置不合理而导致并行度过低，会导致资源的极大浪费...

有赞数据平台从2017年上半年开始，逐步使用 SparkSQL 替代 Hive 执行离线任务，目前 SparkSQL 每天的运行作业数量5000个，占离线作业数目的55%，...

RDD依赖关系 4.1 RDD 血缘关系 RDD只支持粗粒度转换 5.RDD持久化 6.RDD分区器 7.RDD文件读取与保存...

在Spark中创建RDD的创建方式可以分为四种： 从集合（内存）中创建RDD 从集合中创建RDD，Spark主要提供了两个方法：parallelize和makeRDD...

spark sql 可以说是 spark 中的精华部分了，我感觉整体复杂度是 spark streaming 的 5 倍以上，现在 spark 官方主推 structed ...

linux服务器之间telnet与scp命令的用法 telnet命令用法： scp命令：用于服务器之间的文件或者文件目录拷贝 用法2：从别的机器拷贝文件到本地目录 scp ...

记得刚接触Elasticsearch的时候，没找啥资料，直接看了遍Elasticsearch的中文官方文档，中文文档很久没更新了，一直都是2.3的版本。最近又重新看了遍6....

小知识，大挑战！本文正在参与「程序员必备小知识」创作活动 本文已参与 「掘力星计划」 ，赢取创作大礼包，挑战创作激励金。 Kafka 常用操作命令 操作命令 查询系统的所有...

Kafka 是由 Linkedin 公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消...

团队内部要分享HBase的知识，之前研究了一段时间，知识比较零散，这一次就系统化的整理一番，之后在想到Hbase的时候，看着一篇就够了。 Hbase是一种NoSQL数据库，...

MySQL是一个服务器／客户端架构的软件，对于同一个服务器来说，可以有若干个客户端与之连接，每个客户端与服务器连接上之后，就可以称之为一个会话（Session）。我们可以同...

TCP三次握手和四次挥手的问题在面试中是最为常见的考点之一。很多读者都知道三次和四次，但是如果问深入一点，他们往往都无法作出准确回答。 本篇尝试使用动画来对这个知识点进行讲...

每个任务最重要的一个过程就Shuffle过程，这个过程会把所有的数据进行洗牌整理，排序，如果数据量大，将会非常的耗时。如图1.1所示，是一个从map端输出数据到合并成一个文...

shuffle是mapreduce任务中耗时比较大的一个过程，面试中也经常问。简单来说shuffle就是map之后，reduce之前的所有操作的过程，包含map task端...