分布式定时任务 | 青训营笔记

102 阅读2分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 6 天

1、发展历程

  • Windows批处理

  • Windows任务计划程序

  • Linux命令 - Cronjob

  • 单机定时任务 - Timer Tricker

  • 单机定时任务 - ScheduledExecutorService

  • 任务调度 - Quartz

  • 分布式定时任务

    • 定时任务是指系统为了自动完成特定任务,实时、延时、周期性完成任务调度的过程。分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台,并实现集群管理调度和分布式部署的一种定时任务的管理方式。
  • 业内定时任务框架

2.核心架构

分布式定时任务核心要解决触发、调度、执行三个关键问题。

任务元数据是用户对任务属性定义,包括任务类型调度时机、执行行为等。

触发器 -核心职责

给定一系列任务,解析它们的触发规则,在规定的时间点触发任务的调度。

设计约束:

  • 需支持大量任务
  • 需支持秒级的调度
  • 周期任务需要多次执行
  • 需保证秒级扫描的高性能,并避免资源浪费。

触发器 - 方案1

定期扫描+延时消息(腾讯、字节方案)

触发器 - 方案2

时间轮(Quartz所用方案)

  • 时间轮是一种高效利用线程资源进行批量化调度的一种调度模型。时间轮是一个存储环形队列,底层采用数组实现,数组中的吗,每个元素可以存放一个定时任务列表。目标:遍历任务列表,从中找出当前时间点需触发的任务列表。

触发器 -高可用

  • 核心问题:

不同业务之间,任务的调度相互影响怎么办? 负责扫描和触发的机器挂了怎么办?

  • 解法思路:

存储中,不同国别、业务做资源隔离。

运行中,不同国别、业务分开执行。

部署时,采用多机房集群化部署,避免单点故障,通过数据库锁或分布式锁保证任务只被触发一次。

高级特性

  1. 高级特性 - 任务编排

使用有向无环图进行可视化任务编排。

  1. 高级特性 - 故障转移

确保部分执行单元任务失败时,任务最终成功

调度器 -高可用

调度器可以集群部署,做到完全的无状态,靠消息队列的重试机制保证任务一定会被调度。

执行器

基于注册中心,可以做到执行器的弹性扩缩容