powerJob 快速入门

MyDistance
1,801 阅读9分钟

本教程适用于熟悉项目或搭建本地试用/测试环境，正式部署请点击这里

项目地址：github.com/KFCFans/Pow…

官方文档：www.yuque.com/powerjob/gu…

1、架构图

官方架构图:

1593492662657-a6b073fa-e4e8-40d6-9c0a-1b60701d51ee

从架构图颜色可以看出主体就分了两个大块和一小条：调度中心、执行器、Akka。

  • 调度中心 powerjob-server：PowerJob 的设计目标为企业级的分布式任务调度平台，即成为调度中间件，让任意业务线的应用仅需要依赖 powerjob-worker 即可获取任务调度与分布式计算的能力。因此，PowerJob 的理想部署模式为一个公司统一部署 powerjob-server 集群，各业务线应用直接接入使用。
  • 执行器 powerjob-worker：根据以前对定时任务的理解，用过Quartz的话，这里相当于Job这个接口；用过ElasticJob的话，最起码相当于Job接口中的一种，比如SimpleJob接口；用过xxl-job的话，这里也是同理，相当于使用了注解@XxlJob的方法。因此，所有需要执行的任务，mars酱的理解都需要依赖powerjob-worker的。
  • Akka ActorSystem：基于Actor模型设计的，专用于构建高度并发、分布式和弹性的工具包，号称单台机器上高达 200 亿条消息/秒。从架构图来看，PowerJob用来做数据交换传输，这么牛逼的中间协议处理者，看来PowerJob团队一定是想往大了搞的。

2、初始化项目

  1. git clone https://github.com/KFCFans/PowerJob.git

  2. 导入 IDE，源码结构如下，我们需要启动调度服务器（powerjob-server），同时在 samples 工程中编写自己的处理器代码

    image-20250314154158297

3、启动调度服务器

  1. 创建数据库（仅需要创建数据库）：找到你的 DB，运行 SQL CREATE DATABASE IF NOT EXISTSpowerjob-dailyDEFAULT CHARSET utf8mb4，搞定～

  2. 修改配置文件，配置文件的说明官方文档写的非常详细，此处不再赘述。由于是在本地 IDE 搭建测试环境，需要修改的地方数据库配置： PowerJob/powerjob-server/powerjob-server-starter/src/main/resources/application-daily.properties

    • spring.datasource.core.jdbc-url
    • spring.datasource.core.username
    • spring.datasource.core.password
    • 当然，有 mongoDB 的同学也可以修改 spring.data.mongodb.uri 以获取完全版体验。

    image-20250314155413877

  3. 完成配置文件的修改后，可以直接通过启动类 tech.powerjob.server.PowerJobServerApplication 启动调度服务器（注意：需要使用 daily 配置文件启动，可自行百度搜索“SpringBoot 指定配置文件启动” ），观察启动日志，查看是否启动成功～启动成功后，访问 http://127.0.0.1:7700/ ，如果能顺利出现 Web 界面，则说明调度服务器启动成功！

  4. 注册应用

    1. 我的是 5.1 版本，选择 PowerJob Account进行登录，简单起见可直接使用超级管理员登录（账号 ADMIN，密码 powerjob_admin）

      image-20250314160141077

    2. 登录后，进入应用管理TAB，点击右上角新增进行应用注册即可。

      image

4、编写示例代码

进入示例工程（powerjob-worker-samples），修改配置文件连接powerjob-server并编写自己的处理器代码。

  1. 修改 powerjob-worker-samples 的 application.properties，将 powerjob.worker.app-name 改为刚刚在控制台注册的名称。

    server.port=8081
​
spring.jpa.open-in-view=false
​
########### powerjob-worker 配置 ###########
# akka 工作端口，可选，默认 27777
powerjob.worker.akka-port=27777
# 接入应用名称，用于分组隔离，推荐填写 本 Java 项目名称
powerjob.worker.app-name=powerjob-worker-samples
# 调度服务器地址，IP:Port 或 域名，多值逗号分隔
powerjob.worker.server-address=127.0.0.1:7700,127.0.0.1:7701
# 持久化方式，可选，默认 disk
powerjob.worker.store-strategy=disk
# 任务返回结果信息的最大长度，超过这个长度的信息会被截断，默认 8192
powerjob.worker.max-result-length=4096
# 单个任务追加的工作流上下文最大长度，超过这个长度的会被直接丢弃，默认 8192
powerjob.worker.max-appended-wf-context-length=4096

  2. 编写自己的处理器：随便找个地方新建类，继承你想要使用的处理器（各个处理器的介绍可见官方文档，文档非常详细），这里为了简单演示，选择使用单机处理器 BasicProcessor，以下是代码示例。

    @Slf4j
@Component("testBaseProcessor")
public class StandaloneProcessorDemo implements BasicProcessor {
​
    @Override
    public ProcessResult process(TaskContext context) throws Exception {
        OmsLogger omsLogger = context.getOmsLogger();
        omsLogger.info("StandaloneProcessorDemo start process,context is {}.", context);
        omsLogger.info("Notice! If you want this job process failed, your jobParams need to be 'failed'");
        omsLogger.info("Let's test the exception~");
        // 测试异常日志
        try {
            Collections.emptyList().add("277");
        } catch (Exception e) {
            omsLogger.error("oh~it seems that we have an exception~", e);
        }
        log.info("================ StandaloneProcessorDemo#process ================");
        log.info("jobParam:{}", context.getJobParams());
        log.info("instanceParams:{}", context.getInstanceParams());
        String param;
        // 解析参数，非处于工作流中时，优先取实例参数（允许动态[instanceParams]覆盖静态参数[jobParams]）
        if (context.getWorkflowContext() == null) {
            param = StringUtils.isBlank(context.getInstanceParams()) ? context.getJobParams() : context.getInstanceParams();
        } else {
            param = context.getJobParams();
        }
        // 根据参数判断是否成功
        boolean success = !"failed".equals(param);
        omsLogger.info("StandaloneProcessorDemo finished process,success: {}", success);
        omsLogger.info("anyway, we finished the job successfully~Congratulations!");
        return new ProcessResult(success, context + ": " + success);
    }
}

  3. 启动示例程序，即直接运行主类 tech.powerjob.samples.SampleApplication，观察控制台输出信息，判断是否启动成功。

调度服务器与示例工程都启动完毕后，再次前往 Web 页面（ http://127.0.0.1:7700/ ），进行任务的配置与运行。

5、任务的配置与运行

  1. 在首页输入框输入配置的应用名称，成功操作后会正式进入前端管理界面。

    在应用管理页面，选择对应的应用，点击右侧“进入”按钮即可。

    image-20250314162234500

  2. 进入注册应用首页后，出现如下图页面

    1593011691296-b377fcd9-7230-4fe2-8faa-e140f4ee50d7

  3. 点击任务管理 -> 新建任务（右上角），开始创建任务。可按下图说明填写参数

image2

  • 任务名称：名称
  • 任务描述：描述
  • 任务参数：任务处理时能够获取到的参数（即各个 Processor 的 process 方法入参 TaskContext对象的jobParams 属性）（进行一次处理器开发就能理解了）
  • 定时信息：该任务的触发方式，由下拉框和输入框组成
    • API -> 不需要填写任何参数，表明该任务由 OpenAPI 触发，不会被调度器主动调度执行
    • CRON -> 填写 CRON 表达式（在线生成网站）
    • 固定频率 -> 任务以固定的频率执行，填写整数，单位毫秒
    • 固定延迟 -> 任务以固定的延迟执行，填写整数，单位毫秒
    • 每日固定间隔 -> 哪几天的哪些时间段需要执行，比如每周二和三的10点到11点间每10分钟触发一次
    • 工作流 -> 不需要填写任何参数，表明该任务由工作流（workflow）触发
  • 生命周期：任务的有效时间范围，不在生命周期的任务会自动停止。常用于任务的延迟启动和过期自动关停。
  • 执行配置：由执行类型（单机、广播和 MapReduce ）、处理器类型和处理器参数组成，后两项相互关联。
    • 内置Java处理器
      • 方式一 -> 填写该处理器的全限定类名（eg, tech.powerjob.samples.processors.MapReduceProcessorDemo）
      • 方式二 -> 填写 IOC 容器的 bean 名称，比如 Spring 用户可填写 Spring Bean 名称（eg, 处理器使用注解 @Component(value = "powerJobProcessor")，则控制台可填写 powerJobProcessor）
      • 方式三 -> 方法级注解，非 MapReduce 任务可直接使用注解 @PowerJobHandler 将某个方法转化为 PowerJob 任务，并设置唯一入参 TaskContext注入上下文，具体参考代码
@Component(value = "springMethodProcessorService")
public class SpringMethodProcessorService {
​
    /**
     * 处理器配置方法1： 全限定类名#方法名，比如 tech.powerjob.samples.tester.SpringMethodProcessorService#testEmptyReturn
     * 处理器配置方法2： SpringBean名称#方法名，比如 springMethodProcessorService#testEmptyReturn
     * @param context 必须要有入参 TaskContext，返回值可以是 null，也可以是其他任意类型。正常返回代表成功，抛出异常代表执行失败
     */
    @PowerJobHandler(name = "testEmptyReturn")
    public String testEmptyReturn(TaskContext context) {
        OmsLogger omsLogger = context.getOmsLogger();
        omsLogger.warn("测试日志");
        return "响应结果，正常返回视为执行成功，抛出异常视为执行失败"
    }
}
  • 运行配置
    • 派发策略：默认健康度优先，优先选择性能最优机器进行执行，可选随机均摊等其他派发模式
    • 最大实例数：该任务同时执行的数量，0 代表不限制实例数量
    • 单机线程并发数：该实例执行过程中每个 Worker 使用的线程数量（MapReduce 任务生效，其余无论填什么，都只会使用必要的线程数）
    • 运行时间限制：限定任务的最大运行时间，超时则视为失败，单位毫秒，0 代表不限制超时时间（不建议不限制超时时间）。
  • 重试配置：
    • Instance 重试次数：实例级别，失败了整个任务实例重试，会更换 TaskTracker（本次任务实例的Master节点），代价较大，大型Map/MapReduce慎用。
    • Task 重试次数：Task 级别，每个子 Task 失败后单独重试，会更换 ProcessorTracker（本次任务实际执行的 Worker 节点），代价较小，推荐使用。
    • 注：请注意同时配置任务重试次数和子任务重试次数之后的重试放大，比如对于单机任务来说，假如任务重试次数和子任务重试次数都配置了 1 且都执行失败，实际执行次数会变成 4 次！推荐任务实例重试配置为 0，子任务重试次数根据实际情况配置。
  • 机器配置：用来标明允许执行任务的机器状态，避开那些摇摇欲坠的机器，0 代表无任何限制。
    • 最低 CPU 核心数：填写浮点数，CPU 可用核心数小于该值的 Worker 将不会执行该任务。
    • 最低内存（GB）：填写浮点数，可用内存小于该值的 Worker 将不会执行该任务。
    • 最低磁盘（GB）：填写浮点数，可用磁盘空间小于该值的 Worker 将不会执行该任务。
  • 集群配置
    • 执行机器地址，指定集群中的某几台机器执行任务
      • IP模式：多值英文逗号分割，如192.168.1.1:27777,192.168.1.2:27777。常用于 debug 等场景，需要指定特定机器运行。
      • TAG 模式：通过 PowerJobWorkerConfig#tag将执行器打标分组后，可在控制台通过 tag 指定某一批机器执行。常用于分环境分单元执行的场景。如某些任务需要屏蔽安全生产环境（tag 设置为环境标），某些任务只需要在特定单元执行（tag 设置单元标）
    • 最大执行机器数量：限定调动执行的机器数量
  • 报警配置：选择任务执行失败后报警通知的对象，需要事先录入。
  • 日志配置：可使用控制台配置调整 Job 使用的 Logger 及 LogLevel
    • 支持 SERVER（服务端日志，默认）、LOCAL（本地日志）、STDOUT（系统输出）、NULL（空实现）4种 LogType
    • 支持 DEBUG、INFO、WARN、ERROR、OFF 5种级别控制
    • 使用建议：初期调试可使用 SERVER 日志，后续功能稳定后改为 LOCAL，并调高日志级别，降低通讯压力，消除性能瓶颈问题

6、任务运行&运维

完成任务创建后，即可在控制台看到刚才创建的任务，如果觉得等待调度太过于漫长，可以直接点击运行按钮，立即运行本任务。

image-20250314163442497

前往任务实例边栏，查看任务的运行状态和在线日志

image-20250314163728673

基础示例到这里就结束了，更多功能示例可见官方文档

参考资料

官方文档：www.yuque.com/powerjob/gu…

avatar
文章
阅读
粉丝