很早之前就想写一篇关于「规则引擎」的文章，但是一直苦于没有时间。刚好最近给团队小伙伴梳理了我设计的引擎的使用和原理，正好借此机会在此写下我们的心得。 「规则引擎」系统一般而言，在风控中使用较多，但是经过调研，我们发现，其实在业务系统中，对于规则引擎系统的渴求度更大，甚至于，我在…

调度系统的任务可视化界面需要完成用户可在界面上连线作为任意两个job间的依赖关系，也就是DAG图 DAG也就是有向无环图，有向无环图指的是一个无回路的有向图。环是一条至少含有一条边且起点和终点相同的路径。 在添加依赖关系时，在向后端发送请求前，前端应该先判断当前添加的连线是否与…

前面几篇文章已经说清楚了从 spark 任务提交到 driver 启动，然后执行 main 方法，初始化 SparkContext 对象。 一个是 TaskScheduler（实际上是他的实现类 TaskSchedulerImpl 对象），这个对象内部会持有一个 Schedul…

简介： 作为业界少有的EB级数据分布式平台，MaxCompute每天支撑上千万个分布式作业的运行。这些作业特点各异，既有包含数十万计算节点的超大型作业，也有中小规模的分布式作业。不同用户对于不同规模/

最近在做的工作比较需要一个支持任务编排工作流的框架或者平台，这里记录下实现上的一些思路。 任务编排是什么意思呢，顾名思义就是可以把"任务"这个原子单位按照自己的方式进行编排，任务之间可能互相依赖。复杂一点的编排之后就能形成一个 workflow 工作流了。我们希望这个工作流按照…