青训营笔记
Go中的后端入门-中间件
这是我参与【第五届青训营】伴学笔记创作活动的第15天
5.抖音春节活动 & 定时任务发展之路：
5. 1 分布式定时任务-执行方式：
- 单机任务: 随机触发一台机器执行任务，适用于计算量小、并发度低的任务
- 广播任务: 广播到所有机器上执行同一个任务，比如所有机器一起清理日志
- Map任务: 一个任务可以分出多个子任务，每个子任务负责一部分的计算。适用于计算量
大，单机无法满足要求的任务
- MapReduce任务: 在Map任务的基础上，还可以对所有子任务的结果做汇总计算，适用
于计算量大，并且需要对子任务结果做汇总的任务
5.2 分布式定时任务VS单机定时任务
关系:
差异
- 分布式定时任务可支撑更大的业务体量
- 分布式定时任务的性能、伸缩性、稳定性更高
5.3 分布式定时任务VS大数据处理引擎
关系:
差异:
- 定时并不是大数据处理引擎要解决的核心问题
- 大数据处理引擎往往致力于将源数据处理成结果数据，分布式定时任务除了能做这个之外，还可以调用HTTP和RPC服务
6.分布式定时任务实现原理
6.1 核心架构
分布式定时任务核心要解决触发、调度、执行三个关键问题
- 触发器: Trigger，解析任务，生成触发事件
- 调度器: Scheduler，分配任务，管理任务生命周期
- 执行器: Executor，获取执行任务单元，执行任务逻辑
6.2 触发器
核心职责：
- 给定一系列任务，解析它们的触发规则，在规定的时间点触发任务的调度
设计约束：
- 需支持大量任务
- 需支持秒级的调度
- 周期任务需要多次执行
- 需保证秒级扫描的高性能，并避免资源浪费
6.3 调度器
6.3.1 资源来源：
业务系统提供机器资源
优点:
缺点:
- 更容易发生定时任务脚本影响在线服务的事故
- 不能由定时任务平台控制扩缩容
定时任务平台提供机器资源
优点:
- 任务执行逻辑与业务系统提供的在线服务隔离，避免相互影响
- 可以支持优雅地扩缩容
缺点：
- 消耗更多机器资源
- 需要额外为定时任务平台申请接口调用权限而不能直接继承业务系统的权限
6.3.2 资源调度
随机节点执行:
- 选择集群中一个可用的执行节点执行调度任务。适用场景:定时对账。
广播执行:
- 在集群中所有的执行节点分发调度任务并执行。适用场景: 批量运维
分片执行:
- 按照用户自定义分片逻辑进行拆分，分发到集群中不同节点并行执行，提升资源利用效率。适用场景: 海量日志统计。
6.4 执行器
- 机器注册
- 调度请求
- 日志服务
- 回调请求
- 状态上报
