git学习地址 gitee.com/xuxueli0323…
高可用 1、避免重复的问题
xxl-job配置: 对个简单的单节点任务,我们可以选择轮询、随机 或故障转移等都可以。 xxl-job提供的路由策略有:第一个、最后一个、轮询、随机、一致性hash、最不经常使用、最近最久未使用、故障转移、忙碌转移、分片广播 xxl_job_lock代码层面判断做拦截:各个节点服务,利用分布式锁等避免重复执行 方案例子: 先在配置文件中定义哪些脚本不能被重复调度、定义Redis过期时间。使用Redis记录该脚本已经执行过,第二次执行时判断是否已执行,如果已执行则退出执行流程。
2、分片执行,重复利用多节点
然而对于一个执行时间很长,任务量巨大的任务。例如批量处理3万条数据库数据,而每条数据需要做大量的运算,如果我们只依赖一个节点去处理就不太理想了。 此时我们需要考虑将这个任务进行拆分(分片),例如将第110000的数据分给第一个job节点处理,将第1000120000的数据分给第二个job节点处理,将第20001~30000的数据分给第三个job节点处理,这样可以充分发挥xxl-job多节点同时运算的能力。
思考:某个节点执行失败,如何再次执行的问题?
实际中操作中,我们需要在xxl-admin控制台创建一个任务,运行模式可以选择默认的bean, 路由策略:选择分片广播 (重要)
bean的任务代码中可以通过以下代码获取到分片参数 :
// 分片参数
int shardIndex = XxlJobHelper.getShardIndex(); //当前分片序号
int shardTotal = XxlJobHelper.getShardTotal(); //当前分片总数