分布式定时任务 ｜ 青训营笔记

这是我参与「第五届青训营 」伴学笔记创作活动的第 10 天

概述

定义

• 定时任务是指系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程。
• 分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式。

发展历程

• Linux命令—CronJob
• 单机定时任务—Timer、Ticker
• 单机定时任务—ScheduledExecutorService
• 任务调度—Quartz
• 分布式定时任务

分类

按触发时机可分为：定时任务、延时任务、周期任务。

• 定时任务：特定时间触发，比如今天12:00执行
• 延时任务：延时触发，比如10分钟后执行
• 周期任务：固定时间周期，或固定频率周期调度触发，比如每隔1小时或每天12:00执行

特点

• 自动化：全自动完成定时任务的调度和执行
• 平台化：基于平台化的思维管控一系列的分布式定时任务
• 分布式：在分布式系统下运行任务调度，突破单机定时任务的性能瓶颈
• 伸缩性：采用集群方式部署，可以随时按需扩缩容
• 高可用：单点故障不影响最终任务结果，可以做到故障转移

执行方式

• 单机任务：随机触发一台机器执行任务，适用于计算量小、并发度低的任务
• 广播任务：广播到所有机器上执行同一个任务，比如所有机器一起清理日志
• Map任务：一个任务可以分出多个子任务，每个子任务负责一部分的计算。适用于计算量大，单机无法满足要求的任务
• MapReduce任务：在Map任务的基础上，还可以对所有子任务的结果做汇总计算，适用于计算量大，并且需要对子任务结果做汇总的任务

关联方案

• 单机定时任务
  • 关系
    • 都可以实现自动化的定时、延时、周期任务调度
  • 差异
    • 分布式定时任务可支撑更大的业务体量
    • 分布式定时任务的性能、伸缩性、稳定性更高
• 大数据处理引擎
  • 关系
    • 都可以对海量数据做处理
    • 性能、伸缩性、稳定性都很高
  • 差异
    • 定时不是大数据处理引擎要解决的核心问题
    • 大数据处理引擎致力于将源数据处理成结果数据，分布式定时任务除了能做这个之外，还可以调用HTTP和RPC服务

实现原理

核心架构

分布式定时任务核心要解决触发、调度、执行三个关键问题：

• 触发器：Trigger，解析任务，生成触发事件
• 调度器：Scheduler，分配任务，管理任务生命周期
• 执行器：Executor，获取执行任务单元，执行任务逻辑

除此之外，还需要提供一个控制台Admin，提供任务管理和干预的功能。

控制台

• 任务：Job，任务元数据，用户对任务属性定义，包括任务类型调度实际、执行行为等
• 任务实例：JobInstance，一个确定的Job的一次运行实例，周期任务会生成多个任务实例
• 任务结果：JobResult，任务实例运行的结果
• 任务历史：JobHistory，用户可以修改任务信息，任务实例对应的任务元数据可以不同，因而使用任务历史存储

触发器

• 核心职责：给定一系列任务，解析它们的触发规则，在规定的时间点触发任务的调度
• 设计约束
  • 需支持大量任务
  • 需支持秒级的调度
  • 周期任务需要多次执行
  • 需保证秒级扫描的高性能，并避免资源浪费
• 方案
  • 定期扫描+延时消息
  • 时间轮
• 高可用
  • 存储上，不同国别，业务做资源隔离
  • 运行时，不同国别、业务分开执行
  • 部署时，采用多机房集群化部署，避免单点故障，通过数据库锁或分布式锁保证任务只被触发一次

调度器

• 资源来源
  • 业务系统提供机器资源
  • 定时任务平台提供机器资源
• 资源调度
  • 节点选择
    • 随机节点执行
    • 广播执行
    • 分片执行
  • 任务分片
  • 任务编排：使用有向无环图进行可视化任务编排
  • 故障转移：确保部分执行单元任务失败时，任务最终成功
• 高可用：调度器可以集群部署，做到完全的无状态，靠消息队列的重试机制保障任务一定会被调度

执行器

• 注册
• 调度
• 回调
• 心跳检测

业务应用

所有需要定时、延时、周期性执行任务的业务场景，都可以考虑使用分布式定时任务。