这是我参与「第五届青训营 」伴学笔记创作活动的第 11 天
概念
- 自动化
- 定时处理
- 海量数据
- 稳定 上述 = 分布式定时任务
Linux 中定时任务--CronJob
单机定时任务
ScheduledExecutorService
Java 可用 ScheduledExecutorService 拥有线程池（资源复用），但仅单机可用
任务调度 Quartz
单任务机制，但没有负载均衡 详细讲解：Quartz 是什么？一文带你入坑 - 知乎
分布式定时任务
定义
- 定时任务是指系统为了自动完成特定任务，实时、延时、周期性完成任务调度的过程。
- 分布式定时任务是把分散的、可靠性差的定时任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式
特点：
- 平台化管理
- 分布式部署
- 海量数据
与大数据处理引擎区别
大数据引擎处理数据，分布式定时任务有逻辑操作以及 HTTP、RPC 等
实现原理
核心架构
核心问题：触发、调度、执行
四层架构：Trigger、Scheduler、Executor、Admin 每个部分需要执行哪些细分功能见 PPT
Admin
任务：任务的元数据 任务实例：任务的一个实例
触发器
解析任务的触发规则，指定时间触发任务调度
定期扫描+延时任务方式
延时 MQ
时间轮方式（Quartz 所用方案）
每个节点存储同时间执行任务列表 查询 O (1)，修改 O (1) 时间刻度如果要增大，使用多级时间轮存储任务
解决思路： 多机部署，避免单机故障 多国别、不同业务，进行隔离（避免频繁调度占用资源）
避免同一任务多次触发
数据库行锁
数据库性能不够高，多机频繁调度竞争数据库锁，节点多性能差
分布式锁
redis 锁、zookeeper 锁 性能更高
调度器
- 资源来源
- 业务系统
- 定时任务平台
- 节点选择
- 任务分片
- 任务编排
- 故障转移：确保部分执行单元失败后，最后任务执行成功。使用一致性 hash 分发任务
- 可以集群部署，消息队列的重试机制保障任务一定会被调度
执行器
基于注册中心，可以实现执行器扩缩容
课后问题：
- 分布式定时任务的调度中心怎么判断一台执行器的机器处于可被调度状态？
- 你能想到哪些业务场景，实时计算引擎优于分布式定时任务？
实践
比如下单 10 分钟未支付，取消定单，这就是定时任务 快递系统自动确认收货，可以延时任务
高可以延迟队列：Fetching Title#opav
RPC、Kafka 等学习切入点：【后端专场 学习资料五】第五届字节跳动青训营 - 掘金
