定时任务

生活用途

• Windows批处理

• Windows任务计划程序

工作用途

• Linux命令 - cronjob

• 单机定时任务 - Timer、Ticker

• 任务调度 - Quarts

• 分布式定时任务

分布式定时任务

• 分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式

• 触发时机

  • 定时

  • 延时

  • 周期

• 执行方式

  • 单机：随机出发一台机器执行任务，适用于计算量小、并发度低的任务

  • 广播：广播到所有机器上执行同一个任务，比如所有机器一起清理日志

  • Map：一个任务可以划分为多个子任务，每个子任务负责一部分计算

  • MapReduce：在Map基础上，还可以对所有子任务的结果做汇总计算

核心架构

关键问题

分布式定时任务要解决触发、调度、执行三个关键问题

• 触发器：Trigger，解析任务，生成触发事件

• 调度器：Scheduler，分配任务，管理任务生命周期

• 执行器：Executor，获取执行任务单元，执行任务逻辑

除此之外，还需要提供一个控制台（Admin），提供任务管理和干预的功能

控制台

• 任务：Job，任务元数据是对用户任务属性的定义（任务类型、调度时机、执行行为）

• 任务实例：JobInstance，周期任务会生成多个任务实例

• 任务结果：JobResult，任务实例运行的结果

• 任务历史：JobHistory，用户可以修改任务信息，任务实例对应的任务元数据可以不同，因而使用任务历史存储

触发器

核心职责

• 给定一系列任务，解析它们的触发规则，在规定的时间点触发任务的调度

设计约束

• 需支持大量任务

• 需支持秒级的调度

• 周期任务需要多次执行

• 保证秒级扫描的高性能，并避免浪费资源

调度器

资源来源

• 业务系统提供机器资源

  • 优点：任务执行逻辑与业务系统公用同一份资源，利用率更高

  • 缺点：定时任务脚本容易影响在线服务；不能由定时任务平台控制扩缩容

• 定时任务平台提供资源

  • 优点：解耦隔离，避免相互影响；可以优雅地支持扩缩容

  • 缺点：消耗更多机器资源；需要额外为定时任务平台申请接口调用权限