k8s spark
4篇文章 · 0订阅
  • Spark二级调度系统Stage划分算法和最佳任务调度细节剖析-Spark商业环境实战
    本套系列博客从真实商业环境抽取案例进行总结和分享，并给出Spark源码解读及商业实战指导，请持续关注本套博客。 1. Spark调度系统的组件关系 一级调度：Cluster Manger (YARN模式下为ResourceManger , Standalone 模式下为 Mas…
    Spark
  • 隐藏的调度逻辑，ImageLocalityPriority 导致 Spark On Kubernetes 执行 Job Pod 调度不均匀 （包含源代码分析）
    因为Kubernetes调度器中ImageLocalityPriority导致Spark的Job在在Kubernetes调度不均匀，导致大量Pod在Pending，影响生产。从源代码分析解决问题。
    Kubernetes 大数据 Spark
  • 在 Kubernetes 上运行 Apache Spark 进行大规模数据处理的实践
    在刚刚结束的 Kubernetes Community Day 上海站，亚马逊云科技在云原生分论坛分享的“在 Kunernets 上运行 Apache Spark 进行大规模数据处理实践”引起了现场参
    Amazon
  • Spark 系列：『 Spark 』1. spark 简介
    things you need know before you touch Spark and before you decide to use spark in your next project.
    后端 数据挖掘 Spark
    Spark 系列：『 Spark 』1. spark 简介