这是我参与「第五届青训营 」伴学笔记创作活动的第 11 天

常见定时任务

• windowns批处理
• windowns任务计划程序
• linux命令 CronJob：只能用于一台机器
• 单机定时任务：Timer、Ticker（可跨平台）

分布式定时任务

简介

• 定时任务：系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程。
• 分布式定时任务：把分散的、可靠性差的定时任务纳入统一的平台，实现集群管理调度和分布式部署。

分类

• 定时任务：特定时间除法
• 延时任务：延时触发
• 周期任务：固定周期时间执行

执行方式

• 单机任务：随机触发一台机器执行任务。
• 广播任务：广播到所有机器上执行同一个任务。
• Map任务：一个任务可以分为多个子任务，每个子任务负责一部分计算。
• MapReduce任务：Map任务基础上，对所有子任务的结果做汇总计算。

主流框架

• XxI-job
• SchedulerX
• TCT
• Elastic-job

差异

• 单机任务：分布式任务可制成更大的业务体量
• 大数据处理引擎：定时不是大数据处理引擎要解决的核心问题，大数据处理引擎致力于将源数据处理成结果数据

实现原理

核心架构

核心要解决触发、调度、执行三个关键问题

• 触发器：解析任务，生成触发时间
• 调度器：分配任务，管理任务生命周期
• 执行器：获取执行任务单元，执行任务逻辑

另外实现一个控制台：存储用户元数据

任务元数据

基础信息、调度时机、执行行为、执行方式

任务实例JobInstance

Job_id、触发时间、状态&结果、过程信息

触发器

给定一系列任务，解析它们的触发规则，在规定的时间点触发任务调度

设计约束

• 支持大量任务
• 秒级调度
• 多次执行
• 秒级扫描

方案

• 定时扫描+延时消息：链表、最小堆
• 时间轮、多级时间轮
• 高可用：数据库行锁、分布式锁模式

调度器

资源来源、资源调度、资源执行

资源来源

• 业务系统提供：容易影响在线服务，不能由定时任务平台控制扩缩容
• 定时任务平台提供：消耗更多资源，额外工作量

资源调度

• 节点选择：随机节点执行；广播执行；分片执行
• 任务编排：使用有向无环图进行可视化任务编排
• 故障转移：确保部分执行单元任务失败时，任务最终成功

执行器

基于注册中心，可以做到执行器的弹性扩容

• 注册
• 调度
• 回调
• 心跳检测