新技巧-Rxjob帮你搞定企业任务调度管理

喝不饱红牛
504 阅读9分钟

我不是创造者，只是代码搬运工。

项目传送门：gitee.com/haohandongk…

Rxjob 是基于xxl-job和ruoyi两个框架重构出来符合企业级项目管理任务调度平台。自从上线该项目两年以来，没有重大事故，也从未重启过，接入执行器50多个，运转任务300多个。足以说明这两个主流开源项目稳定性了。

输入图片说明

ruoyi 功能

  1. 用户管理：用户是系统操作者，该功能主要完成系统用户配置。
  2. 部门管理：配置系统组织机构（公司、部门、小组），树结构展现支持数据权限。
  3. 岗位管理：配置系统用户所属担任职务。
  4. 菜单管理：配置系统菜单，操作权限，按钮权限标识等。
  5. 角色管理：角色菜单权限分配、设置角色按机构进行数据范围权限划分。
  6. 字典管理：对系统中经常使用的一些较为固定的数据进行维护。
  7. 参数管理：对系统动态配置常用参数。
  8. 通知公告：系统通知公告信息发布维护。
  9. 操作日志：系统正常操作日志记录和查询；系统异常信息日志记录和查询。
  10. 登录日志：系统登录日志记录查询包含登录异常。
  11. 在线用户：当前系统中活跃用户状态监控。
  12. 任务调度：在线（添加、修改、删除)任务调度包含执行结果日志。
  13. 代码生成：前后端代码的生成（java、html、xml、sql)支持CRUD下载 。
  14. 系统接口：根据业务代码自动生成相关的api接口文档。
  15. 服务监控：监视当前系统CPU、内存、磁盘、堆栈等相关信息。
  16. 在线构建器：拖动表单元素生成相应的HTML代码。
  17. 连接池监视：监视当前系统数据库连接池状态，可进行分析SQL找出系统性能瓶颈。

若依项目文档传送门： doc.ruoyi.vip/

任务调度平台说明

介绍

1.1 概述

任务调度平台是基于开源项目xxl-job进行重构的项目

  • 四步快速接入，代码与业务解耦
  • 多点部署，高可用
  • 支持对用户、部门、岗位等权限控制
  • 支持实时任务监控
  • 支持多重策略任务调度
  • 支持实时在线日志追踪
  • 支持预警提醒

1.2 特性

1、简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手；
2、动态：支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效；
3、调度中心HA（中心式）：调度采用中心式设计，“调度中心”基于集群Quartz实现并支持集群部署，可保证调度中心HA；
4、执行器HA（分布式）：任务分布式执行，任务"执行器"支持集群部署，可保证任务执行HA；
5、注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时，也支持手动录入执行器地址；
6、弹性扩容缩容：一旦有新执行器机器上线或者下线，下次调度时将会重新分配任务；
7、路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等；
8、故障转移：任务路由策略选择"故障转移"情况下，如果执行器集群中某一台机器故障，将会自动Failover切换到一台正常的执行器发送调度请求。
9、阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖之前调度；
10、任务超时控制：支持自定义任务超时时间，任务运行超时将会主动中断任务；
11、任务失败重试：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；其中分片任务支持分片粒度的失败重试；
12、任务失败告警；默认提供邮件方式失败告警，同时预留扩展接口，可方面的扩展短信、钉钉等告警方式；
13、分片广播任务：执行器集群部署时，任务路由策略选择"分片广播"情况下，一次任务调度将会广播触发集群中所有执行器执行一次任务，可根据分片参数开发分片任务；
14、动态分片：分片广播任务以执行器为维度进行分片，支持动态扩容执行器集群从而动态增加分片数量，协同进行业务处理；在进行大数据量业务操作时可显著提升任务处理能力和速度。
15、事件触发：除了"Cron方式"和"任务依赖方式"触发任务执行之外，支持基于事件的触发任务方式。调度中心提供触发任务单次执行的API服务，可根据业务事件灵活触发。
16、任务进度监控：支持实时监控任务进度；
17、Rolling实时日志：支持在线查看调度结果，并且支持以Rolling方式实时查看执行器输出的完整的执行日志；
18、GLUE：提供Web IDE，支持在线开发任务逻辑代码，动态发布，实时编译生效，省略部署上线的过程。支持30个版本的历史版本回溯。
19、脚本任务：支持以GLUE模式开发和运行脚本任务，包括Shell、Python、NodeJS、PHP、PowerShell等类型脚本;
20、命令行任务：原生提供通用命令行任务Handler（Bean任务，"CommandJobHandler"）；业务方只需要提供命令行即可；
21、任务依赖：支持配置子任务依赖，当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔；
22、一致性：“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行；
23、自定义任务参数：支持在线配置调度任务入参，即时生效；
24、调度线程池：调度系统多线程触发调度运行，确保调度精确执行，不被堵塞；
25、数据加密：调度中心和执行器之间的通讯进行数据加密，提升调度信息安全性；
26、邮件报警：任务失败时支持邮件报警，支持配置多邮件地址群发报警邮件；
27、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;
28、运行报表：支持实时查看运行数据，如任务数量、调度次数、执行器数量等；以及调度报表，如调度日期分布图，调度成功分布图等；
29、全异步：任务调度流程全异步化设计实现，如异步调度、异步运行、异步回调等，有效对密集调度进行流量削峰，理论上支持任意时长任务的运行；
30、跨平台：原生提供通用HTTP任务Handler（Bean任务，"HttpJobHandler"）；业务方只需要提供HTTP链接即可，不限制语言、平台；
31、国际化：调度中心支持国际化设置，提供中文、英文两种可选语言，默认为中文；
32、容器化：提供官方docker镜像，并实时更新推送dockerhub，进一步实现产品开箱即用；

xxl-job 项目传送门： www.xuxueli.com/xxl-job/

2 执行器开发

如果不建执行器可以使用 /doc/dlbe-job-excutor.rar 解压使用即可。自建执行器可以按照下面步骤进行创建即可。

步骤一：maven依赖

确认pom文件中引入了 "xxl-job-core" 的maven依赖；

<!-- xxl-job-core -->
<dependency>
	<groupId>com.xuxueli</groupId>
	<artifactId>xxl-job-core</artifactId>
	<version>2.0.1</version>
</dependency>

注意：现在xxl-job-core低于2.0.1版本以下的有一个隐形bug，因为默认连接使用jetty连接，导致jetty重启断开连接，导致任务执行失败，修复bug,需xxl-job-core 2.0.2默使用netty连接,执行需添加一下配置

//父级pom.xml
<properties>
<jetty-server.version>9.2.26.v20180806</jetty-server.version>
</properties>

<dependencyManagement>
        <dependencies>
           ....

            <!-- jetty -->
            <dependency>
                <groupId>org.eclipse.jetty</groupId>
                <artifactId>jetty-server</artifactId>
                <version>${jetty-server.version}</version>
            </dependency>
            <dependency>
                <groupId>org.eclipse.jetty</groupId>
                <artifactId>jetty-util</artifactId>
                <version>${jetty-server.version}</version>
            </dependency>
            <dependency>
                <groupId>org.eclipse.jetty</groupId>
                <artifactId>jetty-http</artifactId>
                <version>${jetty-server.version}</version>
            </dependency>
            <dependency>
                <groupId>org.eclipse.jetty</groupId>
                <artifactId>jetty-io</artifactId>
                <version>${jetty-server.version}</version>
            </dependency>
            <dependency>
                <groupId>org.eclipse.jetty</groupId>
                <artifactId>jetty-client</artifactId>
                <version>${jetty-server.version}</version>
            </dependency>

        </dependencies>
    </dependencyManagement>

步骤二：修改执行器地址

### xxl-job admin address list：调度中心部署跟地址：如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调"。
xxl.job.admin.addresses=http://task.cdeledu.com

### xxl-job executor address：执行器"AppName"和地址信息配置：AppName执行器心跳注册分组依据；地址信息用于"调度中心请求并触发任务"和"执行器注册"。执行器默认端口为9999，执行器IP默认为空表示自动获取IP，多网卡时可手动设置指定IP，该IP不会绑定Host仅作为通讯实用。单机部署多个执行器时，注意要配置不同执行器端口；
xxl.job.executor.appname=xxl-job-executor-sample
xxl.job.executor.ip=
xxl.job.executor.port=9999

### xxl-job, access token：执行器通讯TOKEN，非空时启用
xxl.job.accessToken=

### xxl-job log path：执行器运行日志文件存储的磁盘位置，需要对该路径拥有读写权限
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler/

### xxl-job log retention days：执行器Log文件定期清理功能，指定日志保存天数，日志文件过期自动删除。限制至少保持3天，否则功能不生效；
xxl.job.executor.logretentiondays=-1

springboot- yml版

# 执行器配置
xxl:
  job:
    enabled: false  #控制是否开启任务
    executor:
      logpath: /home/applogs/dlbe-job-executor/jobhandler #项目本地执行地址
      appname: cdeledu-live-manage-excuor # 执行器名字
      port: 9977
      logretentiondays: -1
      ip: 
    admin:
      addresses: http://task.cdeledu.com #任务调度平台
    accessToken: jobtest$123 # 任务调度平台唯一标识

accessToken：需要配置对应的accessToken才行（线上：jobprod$123，本地和测试：jobtest$123） 大家的port端口号都统一暴露：9977，方便运维那边统计处理

步骤三： 初始化基础配置

package com.cdeledu.job.excutor.core.config;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.ComponentScan;
import org.springframework.context.annotation.Configuration;

import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;

/**
 * xxl-job config
 *
 * @author wuchanghao 2019-03-27
 */
@Configuration
@ComponentScan(basePackages = "com.cdeledu.job.excutor.service.jobhandler")
public class XxlJobConfig {
	private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);

	// 执行器开关
	@Value("${xxl.job.enabled}")
	private boolean enabled;

	@Value("${xxl.job.admin.addresses}")
	private String adminAddresses;

	@Value("${xxl.job.executor.appname}")
	private String appName;

	@Value("${xxl.job.executor.ip}")
	private String ip;

	@Value("${xxl.job.executor.port}")
	private int port;

	@Value("${xxl.job.accessToken}")
	private String accessToken;

	@Value("${xxl.job.executor.logpath}")
	private String logPath;

	@Value("${xxl.job.executor.logretentiondays}")
	private int logRetentionDays;

	@Bean(initMethod = "start", destroyMethod = "destroy")
	public XxlJobSpringExecutor xxlJobExecutor() {
		if (enabled) {
			logger.info(">>>>>>>>>>> xxl-job config init.");
			XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
			xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
			xxlJobSpringExecutor.setAppName(appName);
			xxlJobSpringExecutor.setIp(ip);
			xxlJobSpringExecutor.setPort(port);
			xxlJobSpringExecutor.setAccessToken(accessToken);
			xxlJobSpringExecutor.setLogPath(logPath);
			xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);

			return xxlJobSpringExecutor;
		}
		return null;
	}

}

步骤四：开发任务

@JobHandler(value="demoJobHandler")
@Component
public class DemoJobHandler extends IJobHandler {
    @Override
	public ReturnT<String> execute(String param) throws Exception {
	  XxlJobLogger.log("XXL-JOB,wuchanghao Hello World.");
	  for (int i = 0; i < 5; i++) {
		XxlJobLogger.log("beat at:" + i);
		TimeUnit.SECONDS.sleep(2);
	  }
	  return SUCCESS;
	}
}

3 调度平台配置

新建项目

项目管理：不同执行器可以配置一个项目绑定

输入图片说明

新增成员

新增成员 输入图片说明

成员角色：编辑者（可对该项目下任务进行操作权限）， 观察者（只能查看权限）

这个调度平台有两条权限体系，菜单和操作按钮可以通过 菜单-角色-用户 来控制，任务查看操作可以通过项目-成员-角色来控制

添加执行器

输入图片说明

输入图片说明

添加执行器：执行器指的可以互相连接标识，你开发执行器一定要和当前appName保持一致，注册方式可以选择自动注册,任务调度平台可以同步你的机器IP; 手动注册需要录入机器地址。

添加任务

输入图片说明

maven 发版说明

//升级父版本号
 mvn versions:set -DnewVersion=1.0.1-SNAPSHOT
//升级模块版本号
 mvn -N versions:update-child-modules
//去掉备份pom.xm.versionsBackup
 mvn versions:commit
//提交私服
mvn celan deplo

上线主要问题

1、 上线日志如果比较多，会造成首页打开比较慢，可以定时执行清除日志即可。

2、redis 使用的cluster方式，可以参考若依项目改造成自己想要的单机的即可。

avatar
文章
阅读
粉丝
相关推荐
一次线上Xxl-Job定时任务调度失败的排查与解决
1.3k阅读
 · 
14点赞
如何利用 Kubernetes 的新 CronJob API 进行高效的任务调度
1.1k阅读
 · 
0点赞
🔥🔥揭秘XXLJOB：任务调度和执行的全面指南
1.3k阅读
 · 
4点赞
使用XXL-JOB分布式任务调度平台
292阅读
 · 
2点赞
XxlJob任务调度流程、原理分析~
1.4k阅读
 · 
13点赞
简化任务调度与管理：详解XXL-Job及Docker Compose安装
1.4k阅读
 · 
3点赞
详解很多公司都在用的国产分布式任务调度框架：XXL-JOB
3.4k阅读
 · 
31点赞
Go实现后台任务调度系统
5.3k阅读
 · 
47点赞
【分布式任务调度】XXL-JOB快速搭建从入门到精通
1.3k阅读
 · 
3点赞
Vue3.3 + Vite+ Element-Plus + TypeScript 从0到1搭建企业级后台管理系统（前后端开源）
154k阅读
 · 
1.0k点赞

友情链接：