这是我参与「第五届青训营」笔记创作活动的第12天

一. 重点内容

• 发展历程

• 实现原理

二. 知识点介绍

1. 发展历程

• Linux命令 - CronJob：
• • 优点：使用简单，稳定可靠
• • 缺点：只能控制单台机器，且无法适用于其他操作系统
• 单机定时任务-Timer、Ticker：
• • 优点：跨平台
• • 缺点：仅单机可用
• 单机定时任务-ScheduledExecutorService：
• • 优点：拥有线程池功能
• • 缺点：仅单机可用
• 任务调度- Quartz：
• • 优点：单任务极致控制
• • 缺点：没有负载均衡机制
• 分布式定时任务：平台化管理；分布式部署；支持海量数据
• • 定义：定时任务是指系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程。分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式。
• • 按触发时机分类：
• • • 定时任务：特定事件触发
• • • 延时任务：延时触发
• • • 周期任务：固定周期时间或者固定频率调度出发
• • 特点：自动化；平台化；分布式；伸缩性；高可用
• • 执行方式：
• • • 单机任务：随机触发一台机器执行任务
• • • 广播任务：广播到所有机器上执行同一个任务
• • • Map任务：一个任务可以分出多个子任务，每个子任务负责一部分的计算
• • • MapReduce任务：在Map的基础上，还可以对所有子任务的结果做汇总计算

2. 实现原理

• 核心架构：
• • 触发器：Trigger，解析任务，生成触发事件
• • 调度器：Scheduler，分配任务，管理任务生命周期
• • 执行器：Executor，获取执行任务单元，执行任务逻辑
• • 控制台：Admin，提供任务管理和干预
• 数据流：
• 控制台：
• • 任务：Job，任务元数据
• • 任务实例：JobInstance，任务运行的实例
• • 任务结果：JobResult，任务实例运行的结果
• • 任务历史：JobHistory，用户可修改任务信息
• 触发器方案：
• • 定期扫描 + 延时消息
• • 时间轮：
• 高可用问题：
• • 单Trigger模式：会有单点故障，机器故障时平台崩溃
• • Trigger集群模式：可避免单点故障，需要避免同一任务被多次触发，导致业务紊乱
• 高可用-数据库行锁模式：在触发调度之前，更新数据库中的JobInstance的状态，成功抢锁才会触发调度
• 调度器：
• • 来源：业务系统；定时任务平台
• • 资源调度-节点选择：
• • • 随机节点执行：选择集群中一个可用的执行节点执行调度任务，如定时对账
• • • 广播执行：在集群中所有的执行节点分发调度任务并执行，如批量运维
• • • 分片执行：按照用户自定义分片逻辑进行拆分，分发到集群中不同节点并行执行，提升资源利用效率，如海量日志统计
• • 资源调度-任务分片：通过任务分片来提高任务执行的效率和资源的利用率
• • 高级特性：
• • • 任务编排：使用有向无环图进行可视化编排
• • • 故障转移：确保部分执行单元任务失败时，任务最终成功
• • • 高可用：调度器可以集群部署，做到完全的无状态，靠消息队列的重试机制保障任务一定会被调度
• 执行器：