如果需要一个可以支持各个平台的批流一体调度引擎。需要有如下功能
由于flink1.11已经支持了SQL层面的批流一体，所以当下的需求就是保证在不同任务类型下,适应不同的执行方式.并寻求更加规范化的任务管理。
痛点：目前我们管理task的方式比较单一，是基于spark engine 通过自己编写的脚本+linux corntab进行任务管理。所以线上task一旦失败或者录错，需要重刷或者重录。就需要一个调度引擎来保证。
- 1.我们期望通过解析zeppelin note的
%INTR表达式来选择需要执行的任务类型 - 2.通过zeppelin sdk提供的Api实现sql任务的http触发以及手动触发
- 3.及时回调进度给第三方平台
下面是zeppelin note的执行流程
www.processon.com/view/link/6…
有关于zeppelin session的底层机制
2021.2.12 待更 Continue...QwQ
