|实现方式|对于spark提交方式来说，无论是client提交还是cluster提交，都是继承SparkApplication。以client提交，子类则是JavaMainApplication,该方式以反射运行,对于k8s任务来分析,clusterManager为Kubern…

为作业配置合适的资源，Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。使用spark-submit提交一个Spark作业后，这个作业就会启动一个对应的Driver进程，根据使用的部署模式（deploy-mode）不同，Driver进程可能在本地启动，...

简介： 本文主要讲解MaxCompute Spark资源调优，目的在于在保证Spark任务正常运行的前提下，指导用户更好地对Spark作业资源使用进行优化，极大化利用资源，降低成本。 本文作者：吴数傑

资源分配是Spark任务中需要深入理解的，如果相关的参数设置不合理，将会造成资源分配不均的情况，可能导致某些任务大量的资源消耗或者某些任务因等待资源而饥饿。本文主要梳理Spark应用基本的过程，然后会介绍如何设置Spark应用执行过程中executor的数量、每个executo…

最近在学习机器学习，为了方便在不同地方可以访问到相同的学习资源和保证学习进度的连续性以及无需重复搭建环境，从而降低学习成本，就需要搭建一套在线的学习平台，保证在任何地方，都可以快速进入学习状态。借助于jupyter可以完美满足我的需求。 另外，考虑到移植的方便性，将采用dock…

随着大数据技术的发展，Spark 成为当今大数据领域最受关注的计算引擎之一。本文主要介绍了Spark on K8s的基础概念和特征以及在阿里云EMR上的优化和最佳实践。

Kubernetes Operator Operator 是由 CoreOS 开发的，用来扩展 Kubernetes API，特定的应用程序控制器，它用来创建、配置和管理复杂的有状态应用

一、概述 分布式存储系统 Ceph 介绍与环境部署 分布式存储系统 Ceph 实战操作 前提是需要一个k8s环境，k8s环境的部署可以参考我这篇文章：Kubernetes（k8s）最新版最完整版环境部

我就想存个文件，怎么这么麻烦 ？- k8s PV、PVC、StorageClass 的关系 Docker 当我们使用 Docker 时，设置数据卷（Volume）还是比较简单的，只需要在容器映射指定卷