这是我参与「第五届青训营 」伴学笔记创作活动的第 12 天
分布式定时任务
前提
开奖缓解技术方案
- 亿级用户规模
- 亿级资金规模
- 百万级读写QPS
1.发展历史
Linux命令-CronJob
- Linux系统命令，使用简单，稳定可靠
- 只能控制单台机器，且无法适用于其他操作系统
单机定时任务-Timer、Ticker
- 跨平台
- 仅单机可用
单机定时任务- ScheduleExecutorService
- 拥有线程池功能
- 仅单机可用
任务调度-Quartz
- 单任务极致控制
- 没有负载均衡机制
分布定时任务
- 平台化管理
- 分布式部署
- 支持海量数据
什么是分布定时任务
定时任务是指系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程
分布式定时任务就是吧发散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理模式
按触发时机分类
- 定时任务
- 延时任务
- 周期任务
分布式定时任务-特点
- 自动化
- 平台化
- 分布式
- 伸缩性
- 高可用
分布式定时任务-执行方式
- 单机任务
- 广播任务
- Map任务
- MapReduce任务
业内定时任务框架
扩展
分布式定时任务VS单机定时任务
关系：
- 都可以实现自动化的定时、延时、周期任务调度
差异：
- 分布式定时任务可支撑更大的业务体量
- 分布式定时任务的性能、伸缩性、稳定性更高
分布式定时任务VS大数据处理引擎
关系：
- 都可以对海量数据作处理
- 性能、伸缩性、稳定性都很高
差异：
- 定时并不是大数据处理引擎要解决的核心问题
- 大数据处理引擎往往致力于将数据源处理为结果数据
2.实现原理
核心框架
分布式定时任务核心解决触发、调度、执行三个关键任务
- 触发器：Trigger，解析任务，生成任务生命周期
- 调度器：Scheduler，分配任务，管理任务生命周期
- 执行器：Executor，获取执行任务单元，执行任务逻辑
- 控制器：Admin
数据流
控制台
基本概念
- 任务：job，任务元数据
- 任务实例：JobInstance，周期任务会生成多个任务实例
- 任务结果：JobResult，运行结果
- 任务历史：JobHistory
基本概念-元数据
任务元数据是用户对任务属性定义，包括任务类型调度机制、执行行为等
基本概念-任务实例
确定Job的一次运行实例
触发器
触发器-核心职责
给定一系列任务，解析他们的触发条件，在规定的时间点出发任务的调度
设计约束
- 支持大量任务
- 支持秒级的调度
- 支持周期任务多次调用
- 保证秒级扫描的高性能
触发器-方案1
定期扫描+掩饰消息
触发器-方案2
时间轮
过程
触发器-高可用
核心问题：
- 不同业务之间，任务调度相互影响怎么办
- 负责扫描和出发的机器挂了怎么办
解法思路：
- 存储上，不同国别、业务进行资源隔离
- 运行时，分开
- 部署时，集群部署
