分布式定时任务实现原理 | 青训营笔记

459 阅读3分钟

这是我参与「第三届青训营 -后端场」笔记创作活动的的第5篇笔记

核心架构

分布式定时任务核心要解决触发、调度、执行三个关键问题

  • 触发器: Trigger, 解析任务,生成触发事件
  • 调度器: Scheduler, 分配任务,管理任务生命周期
  • 执行器: Executor, 获取执行任务单元,执行任务逻辑 除此之外,还需要提供一个控制台(Admin)提供任务管理和干预的功能。

数据流

image.png

功能架构 image.png

控制台

基本概念任务: Job, 任务元数据

任务实例: JobInstance, 周期任务会生成多个任务实例

任务结果: JobResult, 任务实例运行的结果

任务历史: JobHistory, 用户可以修改任务信息,任务实例对应的任务元数据可以不同,因而使用任务历史存储

image.png

任务元数据(Job) 是用户对任务属性定义,包括任务类型调度时机、执行行为等。

image.png 任务实例(JobInstance) 是一个确定的Job的一次运行实例。

image.png

触发器

核心职责

给定一系列任务,解析它们的触发规则,在规定的时间点触发任务的调度

设计约束

需支持大量任务 需支持秒级的调度 周期任务需要多次执行 需保证秒级扫描的高性能,并避免资源浪费

定期扫描+延时消息(腾讯、字节方案)

image.png

时间轮( Quartz所用方案)

时间轮是一种高效利用线程 资源进行批量化调度的一种调度模型。时间轮是一个存储环形队列, 底层 采用数组实现,数组中的每个元素可以存放-个定时任务列表。

image.png 核心问题

不同业务之间,任务的调度相互影响怎么办?

负责扫描和触发的机器挂了怎么办?

解法思路
存储上,不同国别、业务做资源隔离
运行时,不同国别、业务分开执行
部署时,采用多机房集群化部署,避免单点故障,通过数据库锁或分布式锁保证任务只被触发一次

定时任务平台提供机器资源

使用该方案的公司:字节等

优点:任务执行逻辑与业务系统提供的在线服务隔 离,避免相互影响可以支持优雅地扩缩容

缺点: 消耗更多机器资源需要额外为定时任务平台申请接调用权限, 而不能直接继承业务系统的权限

image.png

节点选择 随机节点执行:选择集群中一个可用的执行节点执行调 度任务。适用场景:定时对账。

广播执行:在集群中所有的执行节点分发调度任务并执 行。适用场景:批量运维。

分片执行:按照用户自定义分片逻辑进行拆分,分发到 集群中不同节点并行执行,提升资源利用效率。适用场 景:海量日志统计。

任务分片

image.png

任务编排

image.png

故障转移

image.png

高可用

image.png

执行器

image.png 基于注册中心,可以做到执行器的弹性扩缩容