分布式定时任务(下)

111 阅读2分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 14 天

分布式定时任务(下)

实现原理

核心架构

分布式定时任务核心要解决触发、调度、执行三个关键问题

  • 触发器: Trigger,解析任务,生成触发事件
  • 调度器: Scheduler,分配任务,管理任务生命周期
  • 执行器:Executor,获取执行任务单元,执行任务逻辑

除此之外,还需要提供—一个控制台(Admin),提供任务管理和干预的功能。

graph TD
Tigger --> Admin
Scheduler --> Admin
Executor --> Admin
Tigger --> Scheduler --> Executor

数据流

image.png

功能架构

image.png

控制台

基本概念

image.png

  • 任务: Job,任务元数据
  • 任务实例: Joblnstance,周期任务会生成多个任务实例
  • 任务结果:JobResult,任务实例运行的结果
  • 任务历史: JobHistory,用户可以修改任务信息,任务实例对应的任务元数据可以不同,因而使用任务历史存储

基本概念-任务元数据

任务元数据(Job)是用户对任务属性定义,包括任务类型调度时机、执行行为等。

image.png

基本概念-任务实例

任务实例(Joblnstance)是一个确定的Job 的一次运行实例。

image.png

触发器

触发器-核心职责

核心职责

  • 给定一系列任务,解析它们的触发规则,在规定的时间点触发任务的调度

设计约束

  • 需支持大量任务
  • 需支持秒级的调度
  • 周期任务需要多次执行
  • 需保证秒级扫描的高性能,并避免资源浪费

触发器-方案1

定期扫描+延时消息(腾讯、字节方案) image.png

触发器-方案2

时间轮(Quartz所用方案)

时间轮是一种高效利用线程资源进行批量化调度的一种调度模型。时间轮是一个存储环形队列,底层采用数组实现,数组中的每个元素可以存放一个定时任务列表。

image.png 目标:遍历任务列表,从中找出当前时间点需触发的任务列表

image.png

image.png

image.png

image.png

触发器-高可用

核心问题

  • 不同业务之间,任务的调度相互影响怎么办?
  • 负责扫描和触发的机器挂了怎么办?

解法思路

  • 存储上,不同国别、业务做资源隔离
  • 运行时,不同国别、业务分开执行
  • 部署时,采用多机房集群化部署,避免单点故障,通过数据库锁或分布式锁保证任务只被触发一次

高可用-问题引出

image.png

高可用-数据库行锁模式

image.png

高可用-分布式锁模式

image.png