分布式定时任务的前世今生
这是我参与「第五届青训营 」伴学笔记创作活动的第 4 天
- 春节集卡瓜分20亿
分布式定时任务 = 自动化 + 定时执行 + 海量数据 + 高效稳定
分布式定时任务框架
2.1 Window批处理
2.2 Windows任务计划程序
2.3 Linux命令-CronJob
Case 3：每天02：30定时清理机器日志
2.4 单机定时任务-Timer、Ticker
Case 4： 每隔5分钟定时刷新本地缓存数据
2.5 单机定时任务-
2.6 任务调度-Quartz
- 单任务极致控制
- 没有负载均衡机制
2.7 分布式定时任务
- 平台化管理
- 分布式部署
- 支持海量数据
定时任务是指系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程。 分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署
按触发时机分类：
- 定时任务：特定时间触发，比如今天15:06执行
- 延时任务：延时触发，比如10s后执行
- 周期任务：固定周期时间，或固定频率周期调度触发。比如每天12点或者每隔5s执行
按照执行方式：
- 单机
分布式定时任务 VS 单机定时任务
关系：
- 都可以实现自动化的定时、延时、周期任务调度
差异：
- 分布式定时任务可以支持更大的业务体量
- 分布式定时任务的性能、伸缩性、稳定性更高
分布式定时任务 VS 大数据处理引擎
分布式定时任务的实现原理
3.1 核心架构
触发器 Trigger 解析任务，生成触发事件
调度器 Scheduler 分布任务，管理任务生命周期
执行器 Executor 获取执行任务单元，执行任务逻辑
控制台 Admin 提供任务管理和干预的功能
数据流
3.2
3.2.1
任务元数据：Job，用户对任务属性的定义，包括任务类型调度时间 任务实例： JobInstance， 任务的一次运行实例，包括Job_id、触发时间、状态&结果、过程信 任务结果： JobResult
3.3 触发器
核心职责
- 给定一系列任务，解析它们的触发规则，在规定的时间点触发任务的调度
设计约束
- 需要支持大量任务
- 需要支持秒级任务
- 周期任务需要多次执行
- 需保证秒级扫描的高性能，
方案1
定期扫描 + 延时消息（腾讯、字节方案）
方案2
时间轮 （Quartz 方案）
多级时间轮
高可用
单点故障
Trigger集群模式
调度器
3.4.1资源来源
资源调度
任务执行
业务应用
所以需要定时、延时、周期
