这是我参与「第三届青训营 -后端场」笔记创作活动的的第8篇笔记

概念

• 定时任务：系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程
• 分布式定时任务：把分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式
• 按触发时机分类：
  • 定时任务——特定时间触发
  • 延时任务——延时触发
  • 周期任务——固定周期时间或固定频率周期调度触发
• 特点：
  • 自动化：全自动完成定时任务的调度和执行
  • 平台化：基于平台化的思维管控一系列的分布式定时任务
  • 分布式：在分布式系统环境下运行任务调度，突破单机的性能瓶颈
  • 伸缩性：采用集群方式部署，可以随时按需扩缩容
  • 高可用：单点故障不影响最终任务结果，可以做到故障转移
• 执行方式：
  • 单机任务：随机触发一台机器执行任务，适用于计算量小、并发度低的任务
  • 广播任务：广播到所有机器上执行同一个任务
  • Map 任务：一个任务可以分出多个子任务，每个子任务负责一部分的计算
  • MapReduce 任务：在 Map 任务的基础上，还可以对所有子任务的结果做汇总计算

核心架构

• 分布式定时任务核心要解决触发（什么时间点被准时准点的触发）、调度（怎么协调许多机器之间的任务分配）、执行（怎么将被分配的任务执行好）三个关键问题
• 触发器：解析任务，生成触发事件
  • 给定一系列任务，解析它们的触发规则，在规定的时间点触发任务的调度
  • 方案：
    • 定期扫描 + 延时消息
    • 时间轮（每个节点存储同执行时间的人物列表，首尾相连存储链表）
  • 高可用——分布式锁模式（只有成功抢锁的才会触发调度）
• 调度器：分配任务，管理任务生命周期
  • 节点选择：
    • 随机节点执行：选择集群中一个可用的执行节点执行调度任务
    • 广播执行：在集群中所有的执行节点分发调度任务并执行
    • 分片执行：按照用户自定义分片逻辑进行拆分，分发到集群中不同节点并行执行
  • 任务编排：使用有向无环图进行可视化编排
  • 故障转移：确保部分执行单元任务失败时，任务最终成功
    • 基于一致性hash策略分发任务，当某个执行器异常时，调度器会将任务分发到其他执行器
• 执行器：获取执行任务单元，执行任务逻辑
  • 首先进行机器注册使得调度中心知道有一个执行器可以调度
  • 调度器通过调度请求使执行器开始执行相应的任务，并在过程中发送日志服务和回调请求
  • 同时还会进行定时的状态上报，调度中心通过状态监测保证任务的正常执行
  • 基于注册中心可以做到执行器的弹性扩缩容
• 控制台：提供任务管理和干预的功能
  • 任务——任务元数据
    • 基础信息（什么名字，属于什么业务的） who
    • 调度时机 when
    • 执行行为 what
    • 执行方式 how
  • 任务实例——一个确定的 Job 的一次运行实例（一个任务可以有多个任务实例）
    • Job_id：与任务元数据相关联
    • 触发时间
    • 状态 & 结果
    • 过程信息
  • 任务结果——运行任务实例后得到的结果（一个任务实例可以得到多个任务结果）
  • 任务历史——用户可以修改任务信息，任务实例对应的任务元数据可以不同，因而使用任务历史存储