Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用并行框架，是专为大规模数据处理而设计的快速通用的大数据处理引擎及轻量级的大数据处理统一平台。 当我们在谈 Spark 的时候可能是指一个 Spark 应用程序，替代 Ma…

集群管理器：启动执行器节点，有Mesos、YARN（Hadoop）、独立集群管理器（spark自带的集群管理器），在standalone模式中即为Master主节点。 --master spark:// 表示会使用独立模式，也就是使用spark自带的独立集群管理器。提交时使用的…

spark一般都是部署到yarn上使用的，所以就说y问的最多的就是arn的提交流程，两种模式最大的区别就是driver端的执行位置 Yarn Client 模式* 第一步，Driver端在任务提交的本

用户编写的Spark程序，通过一个有main方法的类执行,完成一个计算任务的处理。它是由一个Driver程序和一组运行于Spark集群上的Executor组成 弹性分布式数据集。RDD是Spark的核心数据结构，可以通过一系列算子进行操作。当RDD遇到Action算子时，将之前…

一. 前言 你是否在为如何制定前后端协作规范而发愁？干货来啦，一文带你了解我们团队内部沉淀并践行已久的前后端协作规范，读完本文，回去大胆拒绝你后端的不合理设计！ 二. 为什么需要协作规范？

最近负责的新项目用到了qiankun，写篇文章分享下实战中遇到的一些问题和思考。 示例代码： https://github.com/fengxianqi/qiankun-example。 项目有个功能需求是需要内嵌公司内部的一个现有工具，该工具是独立部署的且是用React写的，…

本文简单介绍了一个定时任务分布式调度器的设计原理，对核心配置以及调度流程进行分析讲解，希望对各位开发者能有帮助。

之前分享过一些使用Jenkins进行自动化部署的技巧 ，最近发现一款阿里出品的IDEA插件，不仅支持直接打包应用部署到远程服务器上，而且还能当终端工具使用。试用了一把这个插件，非常不错，推荐给大家！

之前jvm写到ZGC了，文章被搞没了，很伤心，jvm先暂停一段时间，后边会续上，先写一下权限系统设计。 本文分为上下两篇，上篇讲一些权限系统设计领域的一些基本概念，以及基本模型的使用，下篇讲我们京东北极星商业操作系统在复杂权限管控的场景上面的一些探索和实践，依然保持我本人写文章…