这是我参与「第五届青训营 」伴学笔记创作活动的第 14 天
内容源于青训营课堂视频以及一些文档，若有错误欢迎及时指出
1 前言
引入
春节瓜分20亿
- 用户规模亿级
- 资金规模亿级
- 读写QPS百万级
自动化 + 定时执行 + 海量数据 + 高效稳定 = 分布式定时任务
发展历程
- Windows批处理
- Windows任务计划程序
- Linux命令—CronJob
- 单机定时任务—Timer、Ticker、ScheduledExecutorService
- 任务调度—Quartz
- 分布式定时任务
- 平台化管理
- 分布式部署
- 支持海量数据
定义
定时任务是指系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程。 分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式。
定时任务解决了自动化和准时这两个问题，分布式定时任务则解决了高性能、可靠性、分布式部署等问题
按触发时机分类：
- 定时任务：特定时间触发，比如今天15:06执行
- 延时任务：延时触发，比如10s后执行
- 周期任务：固定周期时间，或固定频率周期调度触发，比如每隔5s或者每天12点执行
特点
- 自动化：全自动完成定时任务的调度和执行
- 平台化：基于平台化的思维管控一系列的分布式定时任务
- 分布式：在分布式系统环境下运行任务调度，突破单机定时任务的性能瓶颈
- 伸缩性：采用集群方式部署，可以随时按需扩缩容
- 高可用：单点故障不影响最终任务结果，可以做到故障转移
执行方式
- 单机任务：随机触发一台机器执行任务，适用于计算量小、并发度低的任务
- 广播任务：广播到所有机器上执行同一个任务，比如所有机器一起清理日志
- Map任务：一个任务可以分出多个子任务，每个子任务负责一部分的计算。适用于计算量大，单机无法满足要求的任务
- MapReduce任务：在Map任务的基础上，还可以对所有子任务的结果做汇总计算，适用于计算量大，并且需要对子任务结果做汇总的任务
2 框架
Xxl-job
Xxl-job优势在于开源且免费，并且轻量级，开箱即用，操作简易，上手快，企业维护起来成本不高，因而在中小型公司使用非常广泛
SchedulerX
分布式任务调度SchedulerX 2.0是阿里巴巴基于Akka架构自研的新一代分布式任务调度平台。 SchedulerX可在阿里云付费使用，功能非常强大，在阿里巴巴内部广泛使用并久经考验
TCT
分布式任务调度服务(Tencent Cloud Task)是腾讯云自主研发的一款高性能、高可靠通用的分布式任务调度中间件。 TCT仅在腾讯内部使用，未开源，也未商用。
比较
关联技术：单机定时任务、大数据处理引擎
分布式定时任务VS单机定时任务
关系：
- 都可以实现自动化的定时、延时、周期任务调度
差异：
- 分布式定时任务可支撑更大的业务体量
- 分布式定时任务的性能、伸缩性、稳定性更高
分布式定时任务VS大数据处理引擎
关系：
- 都可以对海量数据做处理
- 性能、伸缩性、稳定性都高
差异：
- 定时并不是大数据处理引擎要解决的核心问题
- 大数据处理引擎往往致力于将源数据处理成结果数据，分布式定时任务除了能做这个之外，还可以调用HTTP和RPC服务
3 实现原理
核心要解决触发、调度、执行三个关键问题
- 触发器：Trigger，解析任务，生成触发事件
- 调度器：Scheduler，分配任务，管理任务生命周期
- 执行器：Executor，获取执行任务单元，执行任务逻辑
除此之外还需要一个控制台提供管理和干预的功能
3.1 控制台
- 任务
- 任务实例
- 任务结果
- 任务历史
任务元数据
job是用户对任务属性定义，包括任务类型调度时机、执行行为等
任务实例
jobinstance是一个确定的job的一次运行实例
3.2 触发器
- 核心职责：
- 给定一系列任务，解析他们的触发规则，在规定的时间点触发任务的调度
- 设计约束
- 支持大量任务
- 支持秒级调度
- 周期任务多次执行
- 保证秒级扫描的高性能，避免资源浪费
方案1
定期扫描+延时消息（腾讯、字节方案）
定时扫描的机器集群部署，通过分布式锁保证只有一台在调度
方案2
时间轮（Quartz方案）
时间轮是一种高效利用线程资源进行批量化调度的一种调度模型，时间轮是一个存储环形队列，底层采用数组实现，数组中的每个元素可以存放一个定时任务列表。
- 链表
- 最小堆
- 时间轮
- 多级时间轮
核心问题——高可用
- 不同业务之间，任务的调度相互影响怎么办
- 负载扫描和触发的机器挂了怎么办
思路：
- 存储上，不同国别、业务资源隔离
- 运行时，不同国别、业务分开执行
- 部署时，采用多机房集群化部署，避免单点故障，通过数据锁或分布式锁保证任务只触发一次
避免同一任务多次执行：
数据库行锁模式
在触发调度之前，更新数据库中JobInstance的状态，成功抢锁才会触发调度
（多台机器频繁竞争数据库锁，节点越多性能越差）
分布式锁模式
在触发调度之前，尝试抢占分布式锁，可使用redis锁或zookeeper锁（性能较高）
3.3 调度器
资源来源
- 业务系统提供机器资源
- 定时任务系统提供机器资源
资源调度
- 节点选择
- 随机节点执行
- 广播执行
- 分片执行
- 任务分片：提高任务执行的效率和资源利用率
任务执行
任务编排
故障转移
分片任务基于一致性hash策略分发任务，当某Executor异常时，调度器会将任务分发到其他Executor
调度器可以集群部署，做到完全的无状态，靠消息队列的重试机制保障任务一定会被调度
3.4 执行器
基于注册中心，可以做到执行器的弹性扩缩容
注册、调度、回调、心跳检测
4 业务应用
所有需要定时、延时、周期性执行任务的业务场景都可以考虑分布式定时任务
- 电商
- 30min自动关闭订单
- 定时发送消息、优惠券
- 互动
- 各种集卡分红包活动
- 游戏
- 批量补发赛季奖励
- 定期更新榜单
问题
- 分布式定时任务可以帮助我们处理哪些业务场景?
- 春节集卡瓜分20亿的玩法，发奖金额计算、实时开奖两个阶段分别用到分布式定时任务什么执行方式?
- 有了分布式定时任务，单机定时任务还有适用场景么?
- 时间轮这种数据结构，在定时/延时场景相比其他数据结构有哪些优势?
- 分布式定时任务的调度中心怎么判断一台执行器的机器处于可被调度状态?
- 你能想到哪些业务场景，实时计算引擎优于分布式定时任务?
