【新晋开源项目】动态配置化任务编排框架 Gobrs-Async 加入Dromara开源社区

·  阅读 87

Gobrs-Async 动态配置化任务编排框架

作者介绍

  • dromara 开源组织成员,

  • dromara/Gobrs-Async 作者

  • 目前在某头部电商平台负责研发高并发电商平台核心架构。

  • 带领团队攻克多个技术难题,落地高并发编排框架和各类缓存技术组件。

关于Gobrs--Async

Gobrs-Async 是一款功能强大、配置灵活、带有全链路异常回调、内存优化、异常状态管理于一身的高性能异步编排框架。为企业提供在复杂应用场景下动态任务编排的能力。针对于复杂场景下,异步线程复杂性、任务依赖性、异常状态难控制性; Gobrs-Async 为此而生。

项目背景

复杂的多线程调用

在开发复杂中台业务过程中,难免会遇到调用各种中台业务数据, 而且会出现复杂的中台数据依赖关系,在这种情况下。代码的复杂程度就会增加。 如下图所示: 1.1

多线程任务管理

传统的FutureCompleteableFuture一定程度上可以完成任务编排,并可以把结果传递到下一个任务。如CompletableFuture有then方法,但是却无法做到对每一个执行单元的回调。譬如A执行完毕成功了,后面是B,我希望A在执行完后就有个回调结果,方便我监控当前的执行状况,或者打个日志什么的。失败了,我也可以记录个异常信息什么的。

此时,CompleteableFuture就无能为力了。

传统开发模式

伪代码

  // 并行处理任务 Product 、 Item 的任务
    @Resource
    List<ParaExector> paraExectors;

    // 依赖于Product 和 Item的 任务
    @Resource
    List<SerExector> serExectors;

    public void testFuture(HttpServletRequest httpServletRequest) {
        DataContext dataContext = new DataContext();
        dataContext.setHttpServletRequest(httpServletRequest);
        List<Future> list = new ArrayList<>();
        for (AsyncTask asyncTask : paraExectors) {
            Future<?> submit = gobrsThreadPoolExecutor.submit(() -> {
                asyncTask.task(dataContext, null);
            });
            list.add(submit);
        }
        for (Future future : list) {
            try {
                future.get();
            } catch (InterruptedException e) {
                e.printStackTrace();
            } catch (ExecutionException e) {
                e.printStackTrace();
            }
        }

        List<Future> ser = new ArrayList<>();
        for (AsyncTask asyncTask : serExectors) {
            Future<?> submit = gobrsThreadPoolExecutor.submit(() -> {
                asyncTask.task(dataContext, null);
            });
            ser.add(submit);
        }
        for (Future future : ser) {
            try {
                future.get();
            } catch (InterruptedException e) {
                e.printStackTrace();
            } catch (ExecutionException e) {
                e.printStackTrace();
            }
        }
    }
复制代码

存在问题

以上示例中,Product 数据是通过RPC 方式获取, Item是通过HTTP 获取,大家都知道, RPC性能要高于HTTP性能。 但是通过Future 的方式, get会阻塞等待 Item 数据返回后才会往下执行。 这样的话,图书音像、装修数据、限购数据等都要等待Item数据返回,但是这些中台并不依赖Item返回的数据, 所以会产生等待时间影响系统整体 QPS

Gobrs-Async 解决并发场景难题

  • 复杂多线程场景开发设计成本大

  • 多线程开发管理成本高

  • 传统多线程回调、监控能力缺失

  • 团队配合无统一开发规范

核心能力

核心能力

架构设计

Gobrs-Async在设计时,就充分考虑了开发者的使用习惯, 没有依赖任何中间件。 对并发框架做了良好的封装。主要使用 CountDownLatchReentrantLockvolatile 等一系列并发技术开发设计。


1.0

核心类

核心类图

友情链接

更多关于 快速接入性能压测 的报告请访问官方查看

官网地址

Gitee

GitHub

沟通

对于这个项目,是否有什么不一样看法,欢迎在 Issue 一起沟通交流; 欢迎添加作者微信进交流群:Gang-sz

此文章版权归属dromara开源组织所有(dromara.org/)

分类:
后端
标签:
收藏成功!
已添加到「」, 点击更改