这是我参与「第五届青训营」伴学笔记创作活动的第 8 天
前言
春节集卡瓜分20亿：怎么设计最终开奖环节技术方案
发奖金额计算、定时开奖
亿级用户规模、亿级资金规模、百万计读写QPS
自动化、定时执行、海量数据、高效稳定=分布式定时任务
发展历程
生活用途：windows批处理、windows任务计划程序
linux命令：CronJob 系统命令，使用简单、稳定可靠；只能控制单台机器，无法适用于其他操作系统
单机定时任务：Timer、Ticker 跨平台，仅单机用；
单机定时任务：scheduledexecutorservice 拥有线程池功能，仅单机可用
任务调度——quartz：单任务极致控制，无负载均衡机制
分布式定时任务：平台化管理、分布式部署、支持海量数据
定时任务：系统为了自动完成特定任务，实时、延时、周期性完成任务的调度的过程
分布式定时任务是什么：把分散的、可靠性差的定时任务纳入统一的平台，实现集群管理调度和分布式部署的一种定时任务的管理模式
按触发时机分类：
定时任务：特定时间触发
延时任务：延时触发
周期任务：固定周期时间/固定频率周期调度触发
分布式定时任务特点：自动化、平台化、分布式、伸缩性、高可用
执行方式：
单机任务：随机触发一台机器执行任务，适用于计算量小、并发度低
广播任务：广播到所有机器上执行同一任务
map任务：一个任务分出多个子任务，每个子任务负责一部分的计算，适用于计算量大mapreduce任务：在map任务基础上，对所有子任务的结果做汇总计算，适用于计算量大，并且需要对子任务结果做汇总的任务
业内定时任务框架
知识面扩充
分布式定时任务vs单机定时任务
都可以实现自动化的定时、延时、周期任务调度；前者可支撑更大的业务体量，性能、伸缩性、稳定性更高
分布式定时任务vs大数据处理引擎
都可以对海量数据做处理，性能伸缩性稳定性都很高；
差异：定时并不是大数据处理引擎要解决的核心问题；后者往往致力于将源数据处理成结果数据，掐着除此之外还能调用http和rpc
实现原理
核心架构
核心解决触发、调度、执行三个关键问题
触发：准时准点触发
调度：触发后如何协调机器
执行：单台机器如何执行
触发器：trigger 解析任务，生成触发事件
调度器：scheduler 分配任务 管理任务生命周期
执行器：executor 获取执行任务单元，执行任务逻辑
控制台：提供任务管理和干预功能
功能架构
基本概念
控制台：任务、任务实例、任务结果、任务历史
任务元数据：用户对任务属性定义，包括任务类型基础信息、调度时机、执行行为、执行方式任务实例：job_id、触发时间、状态&结果、过程信息
触发器
核心职责：给定一系列任务，解析触发规则，在规定的时间点触发任务的调度
设计约束：支持大量任务、秒级调度、周期任务需多次执行、保证秒级扫描的高性能，避免资源浪费
方案1：定期扫描+延时消息（腾讯、字节方案）
方案2：时间轮（quartz）
高可用
核心问题：不同业务之间，任务调度相互影响怎么办；负责扫描和触发的机器挂了怎么办
存储上：不同国别、业务做资源隔离；
运行时：不同国别、业务分开执行
部署时：多机房集群化部署，避免单点故障，通过数据库锁或分布式锁保证任务只被触发一次
单trigger模式【单点故障崩溃】、trigger集群模式【避免同一任务被多次触发】
数据库行锁模式：成功抢锁的才会触发调度【多台机器频繁竞争数据库锁，节点多性能差】
分布式锁模式：使用redis锁或zookeeper锁
调度器
资源来源：业务系统提供机器资源、定时任务平台提供机器资源
资源调度——节点选择：随机节点执行、广播执行、分片执行
高级特性
任务编排：使用有向无环图可视化任务编排
故障转移：确保部分执行单元任务失败时，任务最终成功
高可用：集群部署，做到完全无状态，靠消息队列的重试机制保障任务一定会被调度
执行器
机器注册、调度请求、日志服务、回调请求、状态上报
业务应用
所有需要定时、延时、周期性执行任务的业务场景，都可以考虑使用分布式定时任务
电商、互动、游戏
其他解决方案：
发货后超10天自动确认收货
分布式定时任务延时任务；使用消息队列的延时消息或者定时消息
春节集卡活动统计用户个数和总翻倍数
分布式定时任务的mapreduce任务；大数据离线处理引擎hive离线统计；大数据实时处理引擎flink实时累计
其他方案对比
