分布式定时任务 ｜ 青训营笔记

这是我参与「第五届青训营 」伴学笔记创作活动的第 12 天，主要记录相关的知识点。

本堂课重点内容

• 分布式定时任务

分布式定时任务

概念

定时任务是指系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程。

分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式。

执行模式

• 单机任务
• 广播任务
• Map任务
• MapReduce任务

实现原理

分布式定时任务的核心问题主要有三个：触发、调度与执行

触发器Trigger：解析任务，生成触发事件

调度器Scheduler：分配任务，管理任务生命周期

执行器Executor：获取执行任务单元，执行任务逻辑

控制台Admin：提供任务的管理和干预功能

数据流：

功能架构：

控制台Admin

• 任务：任务元数据
• 任务实例：任务运行的实例,是一个确定的job的一次运行实例
• 任务结果：任务实例运行的结果
• 任务历史：用户可以修改任务信息，任务实例对应的原数据可以不同，因而使用任务历史存储

任务元数据：job是用户对任务属性定义，包括任务类型调度时机、执行行为等

触发器Trigger

• 核心职责：

  • 给定一系列任务，解析他们的触发规则，在规定的时间点触发任务的调度

• 设计约束

  • 支持大量任务
  • 支持秒级调度
  • 周期任务多次执行
  • 保证秒级扫描的高性能，避免资源浪费

对于触发器来说，核心问题是高可用

• 不同业务之间，任务的调度相互影响怎么办
• 负载扫描和触发的机器挂了怎么办

思路：

• 存储上，不同国别、业务资源隔离
• 运行时，不同国别、业务分开执行
• 部署时，采用多机房集群化部署，避免单点故障，通过数据锁或分布式锁保证任务只触发一次

避免同一任务多次执行：

数据库行锁模式

在触发调度之前，更新数据库中JobInstance的状态，成功抢锁才会触发调度

（多台机器频繁竞争数据库锁，节点越多性能越差）

分布式锁模式

在触发调度之前，尝试抢占分布式锁，可使用redis锁或zookeeper锁（性能较高）

调度器Scheduler

资源来源

• 业务系统
• 定时任务平台

资源来源

• 业务系统提供机器资源
• 定时任务系统提供机器资源

资源调度

• 节点选择

  • 随机节点执行
  • 广播执行
  • 分片执行

• 任务分片：提高任务执行的效率和资源利用率

任务执行

任务编排

故障转移

分片任务基于一致性hash策略分发任务，当某Executor异常时，调度器会将任务分发到其他Executor

调度器可以集群部署，做到完全的无状态，靠消息队列的重试机制保障任务一定会被调度

执行器Executor

基于注册中心，可以做到执行器的弹性扩缩容

注册、调度、回调、心跳检测

个人总结

本次课程主要学习了：

• 分布式定时任务的基础概念