这是我参与「第五届青训营 」伴学笔记创作活动的第 15 天
分布式定时任务
今日学习
- 分布式定时任务整体架构
- 定时任务的概述，分类
前言
- 每年春节抖音都会有很多有意思的玩法，如果同学们是字节的后端同学，怎么设计今年春节集卡瓜分20亿的技术方案？
-
方案引出
- 自动化 + 定时执行 + 海量数据 + 高效稳定 = 分布式定时任务
发展
window批处理
.bat文件
比如
shutdown -s -t 6000
官方自带
Linux
CronJob
定时清理机器日志
crontab [-u username] //省略用户表表示操作当前用户的crontab
-e (编辑工作表)
-l (列出工作表里的命令)
-r (删除工作作)
代码方式
任务调度- Quartz
quartz-scheduler/quartz: Code for Quartz Scheduler (github.com)
仓库地址如上
定时任务
-
定义
- 定时任务是指系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程。
- 分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式。
是一个平台，不是为单个任务服务
-
执行模式
- 单机任务：随机触发一台机器执行任务，适用于计算量小，并发度低的任务
- 广播任务：广播到所有机器上执行同一个任务，比如所有机器一起清理日志
- Map任务：一个任务可以分出多个子任务，每个子任务负责一部分的计算。适用于计算量大，单机无法满足要求的任务
- MapReduce任务：在Map任务的基础上，还可以对所有子任务的结果做汇总计算，适用于计算量大，并且需要对子任务结果做汇总的任务
分布式定时任务VS单机定时任务
关系：
- 都可以实现自动化的定时，延时，周期任务调度
差异
- 分布式定时任务可支撑更大的业务体量
- 分布式定时任务的性能，伸缩性，稳定性更高
核心架构
触发，调度，执行
- 触发器:trigger 解析任务，生成触发事件
- 调度器:Scheduler，分配任务，管理任务生命周期
- 执行器:Execuytor，获取执行任务单元，执行任务逻辑
还需要控制台(admin)，提供任务管理和干预的功能
数据流
任务元数据
job ->
- Who
- When
- What
- How
任务实例
JobInstance
- job_id
- 触发时间
- 状态&结果
- 过程信息
触发器-核心职责
解析它们的触发规则，在规定的时间点触发任务的调度
设计约束
- 需支持大量的任务
- 需要支持秒级的调度
- 周期任务需要多次执行
- 需要保持秒级扫描的高性能
触发器-方案
定期扫描-延时消息
时间轮
1.使用链表储存任务，每个元素代表一个任务
查询复杂度O(n),修改复杂度O(1)
2.使用最小堆存储任务，按执行时间排序，每个节点储存同执行时间任务列表
3.使用时间轮储存任务，每个节点同执行时间任务列表
环形数组
4.使用多级时间轮储存信息，上一级时间轮转过相应刻度后把任务塞进下级时间轮中
调度器
资源来源
- 业务系统提供机器资源
- 定时任务平台提供机器资源
资源调度-节点选择
- 随机节点执行
- 广播执行
- 分片执行
高级特性
- 任务编排
- 故障转移：确保部分执行任务发生故障后能够成功执行
个人学习总结：
学习到了分布式任务，学习到分布式任务的概念，分类，数据结构，应用场景。
