stonezhu

在 Hadoop1 中 MapReduce 框架即负责集群的资源调度，还负责 MapReduce 程序的运行。由于这种架构资源调度和计算高度耦合，导致了一个 Hadoop ...

在 Hadoop1 中，MapReduce 计算框架即负责集群资源的调度，还负责 MapReduce 程序的运行。 1，大数据应用进程。这是用户启动的 MapReduce ...

在 Spark 的源码中，负责 shuffle 过程的执行、计算、处理的组件主要是 ShuffleManager。 在 Spark 1.2 以前，默认的 shuffle 计...

数据倾斜是大数据计算中一个最棘手的问题，出现数据倾斜后，Spark 作业的性能会比期望值差很多。数据倾斜的调优，就是利用各种技术方案解决不同类型的数据倾斜问题，保证 Spa...

记录一些常见的 Spark 作业里的 troubleshooting。 在 shuffle 过程中，reduce 端在拉取 map 端的数据时，每个 task 会有自己的 ...

Spark 支持 Yarn 集群的部署模式，在 Spark On Yarn 模式下，每个 Spark 的 Executor 作为一个 Yarn container 在运行，...

前面三篇文章的三种优化方式调整到位之后会让整个 Spark 作业执行速度有非常明显的提升。 除此之外我们还有很多其它性能优化的手段，但在和前面三种方式比较，正常情况下提升没...

1，几个功能明明可以在一个算子操作中完成，为了代码清晰，把这个算子拆分成多个算子进行操作。这种操作往往会增加很多的性能开销。 这样就造成了重复计算。 2，在要复用 RDD ...

并行度：Spark 作业中，会根据 action 操作划分成多个 job，每个 job 中会根据 shuffle 划分成多个 stage，每个 stage 会分配多个 ta...

性能调优的王道是分配更多的资源，当目前资源够用的情况下，分配的资源越充分，在性能和速度上的提升越明显。当资源无法分配更多时候才会去考虑后续的一些调优手段。 **第一种，Sp...

Spark 中最基本的数据抽象是 RDD。 RDD：弹性分布式数据集 (Resilient Distributed DataSet)。 这三个特性分别为：分区，不可变，并行...

1，在HDFS中会以Block为单位进行存储很多的File，也就是说每个File可能会被拆分成多个Block存储在HDFS上；2，当Spark读取HDFS上的文件作为输入时...

这几种 join 算子和 sql 中的 join 类似，join 相当于内连接，fullOuterJoin 相当于全连接，leftOuterJoin 相当于左连接，righ...

问题：配置了 .gitignore 文件，但在 git add 的时候没有忽略掉。...

1，Gradle：是一个基于 Apache Ant 和 Apache Maven 概念的项目 自动化建构 工具。它使用一种基于 Groovy 的特定领域语言 来声明项目设置...

根据报错 log 可以断定的是由于我本地编译打包所使用的 jdk 版本和 linux 集群的 jre 版本不一致导致的。stanford parser 和 jdk 版本对应...

最近看到一篇很好资料，里面三言两语配上几个图就把列式存储(Column-based Storage)讲明白了，牛啊！最喜欢的就是这种浅显易懂就把背景知识讲得明明白白，而不是...

我换用了wx.redirectTo(Object object)，只销毁当前页面，交互上也能接受。...