DAG
3篇文章 · 0订阅
  • Airflow2.0.0 + Celery 集群搭建
    编写DAG文件需要保证在集群每个节点都要同步,因为每个worker都是从本地进行读取执行的, 不像oozie那样上传到HDFS. scheduler仅仅是发送一条要执行哪个DAG下的哪个Task的命令到Queue Broker下, 然后worker再根据命令去指定指定的那个Ta…
    大数据
  • MaxCompute执行引擎核心技术DAG揭秘
    简介： 作为业界少有的EB级数据分布式平台，MaxCompute每天支撑上千万个分布式作业的运行。这些作业特点各异，既有包含数十万计算节点的超大型作业，也有中小规模的分布式作业。不同用户对于不同规模/
    Dagger
    MaxCompute执行引擎核心技术DAG揭秘
  • 基于DAG实现的任务编排框架&平台
    最近在做的工作比较需要一个支持任务编排工作流的框架或者平台，这里记录下实现上的一些思路。 任务编排是什么意思呢，顾名思义就是可以把"任务"这个原子单位按照自己的方式进行编排，任务之间可能互相依赖。复杂一点的编排之后就能形成一个 workflow 工作流了。我们希望这个工作流按照…
    Java 后端