这是我参与「第五届青训营」伴学笔记创作活动的第 13 天

零、前言

本文记录和整理了本人在跟随字节青训营学习的一些我个人感觉比较重要的内容和知识，也有一部分内容是我认为自己比较难理解或记忆的，也一并记录于此文。

撰写本文的目的主要是方便我自己的复习和查阅，倘若各位读者有与我相似的问题，也可以参考之，如果对各位有帮助那就是我莫大的荣幸，也期望各位不吝赐教，多多指出我的问题，可以在下方留言或者私信我。

---

一、课程大纲与目标

• 发展历程
• 实现原理
• 业务应用

• 知识面扩充

  • 对分布式定时任务建立起宏观的认知，并深入了解其实现原理
  • 了解关联的单机定时任务、大数据处理引擎，通过了解不同实现方案的优劣来拓展知识面

• 项目实践能力加强

  • 了解在哪些实际业务场景中需要使用分布式定时任务
  • 对于实际业务场景的中间件选型、技术方案设计等做到胸有成竹

---

二、发展历程

0. Windows批处理

例：定时关机

0. 桌面新建一个文本文档
1. 更改文件名和后缀为自动关机.bat
2. 修改文件内容为shutdown -s -t 600，表示600秒后关机
3. 双击运行该批处理文件，电脑将会在10分钟后关机

1. Windows任务计划程序

例：每天12点自动疫情打卡 （时代的眼泪）

2. Linux命令-CronJob

例：每天02:30点定时清理机器日志

30 2 * * * clean_log.sh

参数说明：min hour day_of_month month day_of_week

• Linux系统命令，使用简单，稳定可靠
• 只能控制单台机器，且无法适用于其他操作系统

3. 单机定时任务-Timer、Ticker

例：每隔5min定时刷新本地缓存数据

• 跨平台
• 仅单机可用

func main(){
    ticker := time.NewTicker(5 * time.Minute)
    for {
        select {
        case <- ticker.C:
            SyncLocalCache()    
        }
    }
}

4. 单机定时任务-ScheduledExcutorService

例：每隔5min定时执行多个任务

• 拥有线程池功能
• 仅单机可用

private static ScheduledExcutorService scheduler;
    public static void main(String[] args) throws Exception {
        scheduler = Executors.newScheduledThreadPool(5);
        scheduler.scheduleAtFixedRate(((
                new Runnable(){
                    @Override
                    public void run() {
                        DoSomething();
                    }
                })),
            0, 300,
            TimeUnit.SECOND);
    }

5. 任务调度-Quartz

• 单任务极致控制
• 没有负载均衡机制

6. 分布式定时任务

• 平台化管理
• 分布式部署
• 支持海量数据

什么是分布式定时任务？

定时任务是指系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程。

分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台，

并实现集群管理调度和分布式部署的一种定时任务的管理方式。

按触发时机分类：

• 定时任务：特定时间触发，比如今天15:06执行
• 延时任务：延时触发
• 周期任务：固定周期时间，或固定频率周期调度触发，比如每隔5s或者每天12点执行

分布式定时任务-特点：

• 自动化：全自动完成定时任务的调度和执行
• 平台化：基于平台化的思维管控一系列的分布式定时任务
• 分布式：在分布式系统环境下运行任务调度，突破单机定时任务的性能瓶颈
• 伸缩性：采用集群方式部署，可以随时按需扩缩容
• 高可用：单点故障不影响最终任务结果，可以做到故障转移

分布式定时任务-执行方式：

• 单机任务：随机触发一台机器执行任务，适用于计算量小、并发度低的任务；
• 广播任务：广播到所有机器上执行同一个任务，比如所有机器一起清理日志；
• Map任务：一个任务可以分出多个子任务，每个子任务负责一部分的计算。适用于计算量大，单机无法满足要求的任务；
• MapReduce任务：在Map任务的基础上，还可以对所有子任务的结果做汇总计算，适用于计算量大，并且需要对子任务结果做汇总的任务

7. 业内定时任务框架

	Xxl-job	SchedulerX	TCT	Elastic-job	Saturn
来源公司	美团点评	阿里巴巴	腾讯	当当网	唯品会
是否开源	1	0	0	1	1
任务编排	子任务依赖	1	1	0	0
任务分片	1	1	1	1	1
高可用	1	1	1	1	1
故障转移	1	1	1	1	1
可视化运维	1	1	1	1	1

8. 知识面扩充

---

三、实现原理

0. 核心架构

分布式定时任务核心要解决触发、调度、执行三个关键问题；

• 触发器：Trigger，解析任务，生成触发事件
• 调度器：Scheduler，分配任务，管理任务生命周期
• 执行器：Executor，获取执行任务单元，执行任务逻辑

还需要提供一个控制台 Admin 来提供任务管理和干预的功能；

1. 数据流与功能架构

graph TD
用户 --> 任务基础信息
用户 --> 触发规则
用户 --> 任务代码
任务基础信息 --> 控制台
触发规则 --> 控制台
任务代码 --> 控制台
控制台 --> 任务DB
控制台 --> 触发器
控制台 --> 调度器
触发器 --> 调度器
调度器 --> 执行器

2. 控制台

基本概念：

• 任务
• 任务实例
• 任务结果
• 任务历史
• 任务元数据

3. 触发器

核心职责：

给定一系列任务，解析它们的触发规则，在规定的时间点触发任务的调度

设计约束：

• 需支持大量任务
• 需支持秒级的调度
• 周期任务需要多次执行
• 需保证秒级扫描的高性能，并避免资源浪费

方案一：定期扫描 + 延时消息

方案二：时间轮

触发器的高可用：

核心问题：

• 不同业务之间，任务的调度互相影响怎么办？
• 负责扫描和触发的机器挂了怎么办？

解法思路：

• 存储上，不同国别、业务做资源隔离
• 运行时，不同国别、业务分开执行
• 部署时，采用多机房集群化部署，避免单点故障，通过数据库锁或分布式锁保证任务只被触发一次

---

4. 调度器

资源来源：

节点选择：

• 随机节点执行
• 广播执行
• 分片执行

任务分片：

通过任务分片来提高任务执行的效率和资源的利用率

任务编排：

使用 DAG 进行可视化任务编排

故障转移：

确保部分执行单元任务失败时，任务最终成功

调度器的高可用：

调度器可以集群部署，做到完全的无状态，靠消息队列的重试机制保障任务一定会被调度

---

5. 执行器

基于注册中心，可以做到执行器的弹性扩缩容

---

四、课后作业

Question：

0. 分布式定时任务可以帮助我们处理哪些业务场景？
1. 春节集卡瓜分20亿的玩法，发奖金额计算、实时开奖两个阶段分别用到分布式定时任务什么执行方式？
2. 有了分布式定时任务，单机定时任务还有适用场景吗？
3. 时间轮这种数据结构，在定时 / 延时场景相比其他数据结构有哪些优势？
4. 分布式定时任务的调度中心怎么判断一台执行器的机器处于可被调度的状态？
5. 你能想到哪些业务场景，实时计算引擎优于分布式定时任务？

---

My Answer：

0. 分布式定时任务可以用于自动执行批量数据处理、定期清理无效数据、定期生成报告等复杂且定时需求。
1. 发奖金额计算可以用分布式定时任务自动定时执行，实时开奖可以使用实时计算引擎实现。
2. 单机定时任务仍适用于对任务数量和复杂度较小的场景。
3. 时间轮的优势在于比较方便地维护大量短时间任务的执行，且可以灵活地分配执行时间，减少等待时间。
4. 可以通过心跳机制定期检测执行器机器状态，以判断是否可以被调度。
5. 实时计算引擎对于对实时、实际性要求较高的业务场景更适用，例如在线游戏的玩家积分计算。

---

THE END.