分布式定时任务 | 青训营笔记
这是我参与「第五届青训营」伴学笔记创作活动的第9天
发展历程
Windows批处理
Case1：10分钟后Windows电脑自动关机
Step：
- 桌面空白处右键单击-新建-文本文档
- 更改文件名和后缀为“自动关机.bat”
- 修改文件内容为“shutdown -s -t 600”，代表10分钟后关机
- 双击运行该批处理文件
Windows任务计划程序
Case2：每天12:00自动疫情打卡
Linux命令-CronJob
Case3：每天02:30定时清理机器日志
单机定时任务-Timer、Ticker
Case4：每隔5分钟定时刷新本地缓存数据
public static void main(String[] args) throws ParseException {
Timer timer = new Timer();
timer.schedule(new TimerTask() {
@Override
public void run() {
SyncLocalCache();
}
}, 5000, 5 * 60 * 1000);
}
func main() {
ticker := time.NewTicker(5 * time.Minute)
for {
select {
case <-ticker.C:
SyncLocalCache()
}
}
}
单机定时任务-ScheduledExecutorService
Case5：每隔5分钟定时执行多个任务
private static ScheduledExecutorService scheduler;
public static void main(String[] args) {
scheduler= Executors.newScheduledThreadPool(5);
scheduler.scheduleAtFixedRate(((
new Runnable() {
@Override
public void run() {
//Do something
}
})), 0,300, TimeUnit.SECONDS);
}
任务调度-Quartz
分布式定时任务
定时任务是指系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程。
分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式。
触发时机
- 定时任务：特定时间触发
- 延时任务：延时触发，比如10s后执行
- 周期任务：固定周期时间，或固定频率周期调度触发
特点
- 自动化
- 平台化
- 分布式
- 伸缩性
- 高可用
执行方式
- 单机任务
- 广播任务
- Map任务
- MapReduce任务
实现原理
分布式定时任务核心要解决触发、调度、执行三个关键问题
- 触发器：Trigger，解析任务，生成触发事件
- 调度器：Scheduler，分配任务，管理任务生命周期
- 执行器：Executor，获取执行任务单元，执行任务逻辑
除此之外，还要提供一个控制台(Admin)，提供任务管理和干预的功能
控制台
- 任务：Job，任务元数据
- 任务实例：JobInstance，周期任务会生成多个任务实例
- 任务结果：JobResult，任务实例运行的结果
- 任务历史：JobHistory，用户可以修改任务信息，任务实例对应的任务元数据可以不同，因而使用任务历史存储
触发器
核心职责：给定一系列任务，解析它们的触发规则，在规定的时间点触发任务的调度
设计约束：
- 需支持大量任务
- 需支持秒级的调度
- 周期任务需要多次执行
- 需保证秒级扫描的高性能，并避免资源浪费
设计方案：
- 定期扫描+延时消息
- 时间轮
调度器
资源来源
- 业务系统提供
- 定时任务平台提供
节点选择
- 随机节点执行
- 广播执行
- 分片执行
