spark
4篇文章 · 0订阅
  • Spark 源码系列（七）Spark on yarn 具体实现
    本来不打算写的了，但是真的是闲来无事，整天看美剧也没啥意思。这一章打算讲一下 Spark on yarn 的实现，1.0.0 里面已经是一个 stable 的版本了，可是 1.0.1 也出来了，离 1.0.0 发布才一个月的时间，更新太快了，节奏跟不上啊，这里仍旧是讲 1.0.…
    Spark
  • 剖析Spark数据分区之Spark RDD分区
    该系列共分3篇文章，欢迎持续关注。 我们以Spark on Yarn为例阐述Spark运行原理。 决定数据分到哪个Partition，对于非key-value类型的RDD，Partitioner为None， 对应key-value类型的RDD，Partitioner默认为Has…
    Spark
  • Spark学习之Spark 集群资源调度
    Spark的集群调度其实蛮简单的，这里总结了一些集群资源调度的基本原理。 spark集群是怎么管理集群的计算资源和内存资源的呢？其实在这背后有一个资源注册的机制。简单来说，就是Worker节点讲自己的资源报告给master。 首先，在Worker节点启动的时候，Worker进程…
    Spark
  • Hello Spark! | Spark，从入门到精通
    Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用并行框架，是专为大规模数据处理而设计的快速通用的大数据处理引擎及轻量级的大数据处理统一平台。 当我们在谈 Spark 的时候可能是指一个 Spark 应用程序，替代 Ma…
    Spark Hadoop Yarn
    Hello Spark! | Spark，从入门到精通