这是我参与「第五届青训营 」笔记创作活动的第13天
只不过是字节给我的任务罢了
分布式定时任务
自动化+定时执行+海量数据+高效稳定=定时任务
Windows
自动化脚本
任务计划程序
Linux
CronJob
min(0~59) hour(0~23) day of month(1~31) month(1~12) day of week(0~6) cmd
Timer、Ticker
-
单机任务
- Java使用Timer
- Go使用Ticker
-
单机定时多任务
- 拥有线程池功能
- 仅单机可用
任务调度-Quartz
- 单任务控制极致
- 没有负载均衡机制
分布式定时任务
- 平台化管理
- 分布式部署
- 支持海量数据
定义
定时任务：自动完成特定任务，实时、延时、周期性完成任务调度的过程
分布式定时任务：将分散的、可靠性差的定时任务纳入统一的平台，实现集群管理调度和分布式部署。
触发时机分类
- 实时
- 延时
- 周期
分布式定时任务的特点
- 自动化
- 平台化：平台化思维管控
- 分布式
- 伸缩性：按需扩缩容
- 高可用：单点故障不影响最终任务结果，可以做到故障转移
执行方式
- 单机任务：随机触发一台机器执行任务，适用于计算量小，并发度低的任务
- 广播任务：所有机器执行同一任务
- Map任务：一个任务分出多个子任务
- MapReduce任务：Map任务基础上，对子任务结果做汇总计算，适用于计算量大，需要做结果汇总的任务
业内定时任务框架
- Xxl-job（开源）
- SchedulerX
- TCT
- Elastic-job（开源）
- Saturn
分布式定时任务VS单机定时任务
-
关系
- 都可以实现自动化定时、延时、周期任务调度
-
差异
- 分布式定时任务可以支撑更大的业务体量
- 分布式定时任务的性能、伸缩性、稳定性更高
分布式定时任务VS大数据处理引擎
-
关系
- 都可以对海量数据进行处理
- 性能、伸缩性、稳定性都很高
-
差异
- 定时并不是大数据处理引擎要解决的核心问题
- 大数据处理引擎往往致力于将源数据处理成结果数据，分布式定时任务除此之外还可调用HTTP、RPC
分布式定时任务原理
整体架构
分布式定时任务核心要解决：触发、调度、执行
- 触发器：Trigger，解析任务，生成触发事件
- 调度器：Scheduler，分配任务，管理任务生命周期
- 执行器：Executor，获取执行任务单元，执行任务逻辑
- 控制台：Admin，提供任务管理和干预功能
数据流
功能架构
控制台
- 任务：Job，任务元数据
- 任务实例：JobInstance，任务运行的实例
- 任务结果：JobResult，任务运行实例的结果
- 任务历史：JobHistory，用户可以修改任务信息，任务实例对应的任务元数据可以不同，因而使用任务历史存储
任务元数据
任务元数据（Job）是用户对任务属性定义，包括任务类型调度时机，执行行为等
- 基础信息
- 调度时机
- 执行行为
- 执行方式
任务实例
任务实例是一个确定的Job的一次运行实例
- Job_id
- 触发时间
- 状态&结果
- 过程信息
触发器
-
核心职责：给定一系列任务，解析触发规则，在规定的触发时间点触发任务的调度
-
设计约束
- 需要支持大量任务
- 需要支持秒级的调度
- 周期性任务需要多次执行
- 需要保证秒级扫描的高性能，并避免资源浪费
方案
-
定期扫描+延时消息
- 扫描十分钟内会执行的任务，延时执行
-
时间轮，时间轮是一个环形队列，底层使用数组实现，查询、修改、插入复杂度均为O(1)
- 多级时间轮：时轮、分轮、秒轮。任务逐级跃迁：时-->分-->秒
-
最小堆存储任务，按执行时间排序，查询复杂度O(1)，修改复杂度O(logn)，每次执行任务只需要取堆顶元素即可
高可用
-
存储上，不同国别、业务做资源隔离
-
运行时，不同国别、业务分开执行
-
部署时，采用多机房集群化部署，避免单点故障，通过数据库锁或分布式锁保证任务只被触发一次
-
问题
-
单Trigger模式
- 会有单点故障，机器故障时平台崩溃
-
Trigger集群模式
- 可避免单点故障，需要避免同一任务被多次触发，导致业务紊乱
-
-
数据库行锁模式
- 在触发调度之前，更新数据库中JobInstance的状态，成功抢锁的才会触发调度，抢锁失败的放弃调度
- 缺点：多台机器频繁竞争锁，节点性能越来越差
-
分布式锁模式
- 触发调度之前，尝试抢占分布式锁，可使用Redis锁或Zookeeper锁。
- 性能较高
调度器
-
资源来源
-
业务系统提供机器资源
- 任务执行逻辑与业务系统共用一份资源，利用率高
- 容易发生定时任务影响在线任务的事故，不能由定时任务平台控制扩缩容
-
定时任务平台提供机器资源
- 任务执行逻辑与业务系统的在线服务隔离，避免相互影响，可以支持扩缩容
- 消耗更多的机器资源，需要额外为定时任务平台申请接口调用权限，不能直接继承业务系统权限
-
-
资源调度
-
节点选择
- 随机节点执行，适用于：定时对账
- 广播执行，所有的执行节点都执行分发的调度任务，适用于：批量运维
- 分片执行，按用户自定义分片逻辑进行拆分
-
任务分片
- M个业务数据区段，分给N个执行器，M最好是N的整数倍，M>=N
-
任务编排
- 使用有向无环图DAG进行可视化任务编排
-
故障转移
- 分片任务基于一致性hash策略分发任务，当执行器故障时，调度器会把任务分发到其他执行器执行
-
高可用
- 调度器可以集群部署，做到完全的无状态，靠消息队列的重试机制保障任务一定会被调度
-
-
任务执行
执行器
- 基于注册中心，可以做到执行器的弹性扩缩容
