一款基于Actor模型开发的数据流程编排工具

30 阅读4分钟

前言

工业物联网、智能运维和数据中台建设中,经常面临一个共同的难题:来自不同设备、协议和系统的数据如何高效、灵活地汇聚、处理并写入目标系统?传统方式往往需要大量硬编码,一旦需求变化就得改代码、重新部署,既慢又容易出错。有没有一种工具,能让数据流转像搭积木一样简单?

本文推荐一个基于 Actor 模型的可视化数据流程编排平台,让非开发人员也能轻松开发复杂的数据管道。

项目介绍

DataLink 的核心理念是"低代码、高灵活"。它把数据处理拆解成一个个独立的"节点"(如监听、过滤、转换、写入等),用户通过拖拽连线的方式,将这些节点组合成完整的处理流程。底层采用 Actor 模型实现高并发与隔离性,确保每个数据流互不干扰。

无论是从一台 Modbus 设备读取传感器数据,还是从 Kafka 订阅日志消息并清洗后写入 TDengine,只需在界面上配置几步,无需写一行代码。更难得的是,它原生支持集群部署,两个节点即可组成高可用集群,适合生产环境使用。

项目功能

1、支持通过可视化画布拖拽方式编排数据处理流程

2、可监听多种工业与互联网协议端口,包括 TCP、UDP、HTTP、CoAP、OPC UA、SNMP、Modbus TCP

3、支持订阅主流消息中间件:MQTT、Kafka、RabbitMQ、RocketMQ、ActiveMQ

4、提供丰富的数据处理能力:分发、条件过滤、数据打包、延迟触发、速率限制、自定义脚本函数等

5、支持写入多种数据库与存储:MySQL、PostgreSQL、SQL Server、TDengine、Redis,甚至本地文件

6、支持最少两节点的集群模式,保障服务高可用与负载均衡

项目特点

1、真正零代码:业务人员或运维工程师即可完成复杂数据链路搭建

2、协议覆盖广:从传统工业协议到现代消息队列一网打尽

3、处理逻辑灵活:内置常用处理器,也支持 Groovy/JavaScript 等脚本扩展

4、轻量级集群:无需依赖 ZooKeeper 等外部协调服务,两节点即可组网

5、资源隔离好:基于 Actor 模型,单个流程异常不影响整体系统

6、开源免费:采用 Apache 2.0 协议,可商用、可修改、无隐藏限制

项目技术

1、核心架构:基于 Actor 模型实现高并发、松耦合的数据流处理

2、前端界面:采用主流 Web 技术实现可视化流程编排画布

3、协议支持:集成 Netty(TCP/UDP)、Vert.x(HTTP/CoAP)、第三方 SDK(OPC UA、Modbus 等)

4、消息中间件:通过标准客户端接入 Kafka、MQTT、RocketMQ 等

5、存储适配:使用 JDBC、Jedis、TDengine 官方驱动等实现多数据库写入

6、集群通信:基于 Akka 或自研轻量级 Actor 通信机制,支持节点自动发现与任务分发

项目效果

在实际应用中,DataLink 已被用于多个场景。比如某制造企业用它从车间 PLC 通过 Modbus TCP 采集设备状态,经过过滤和聚合后,通过 MQTT 发送给上位系统,同时将原始数据存入 TDengine 供后续分析;又如某智慧城市项目,通过 HTTP 接收传感器上报数据,经脚本解析后写入 PostgreSQL,并触发告警规则。用户反馈最深的是"快"和"稳"——过去需要一周开发的数据对接,现在一天内就能上线;即使某个流程出错,其他链路依然正常运行。

2f1d9eb45df08ecebe350098bd58afcf_rule.png

39fddf5cba7617e9c78273f302f35403_1725411129691-38f6b363-9599-48ee-9496-ed7fa6d7c88d_x-oss-process=image%2Fformat%2Cwebp.png

2db8635ab7f43d113a2ed8502f32bf5a_1725411172111-813ae8c8-13b1-4162-a0cb-2cd6157e5410_x-oss-process=image%2Fformat%2Cwebp.png

项目源码

项目结构清晰,包含核心引擎、协议插件、处理器模块和 Web 控制台。官方提供了详细的使用文档,涵盖安装部署、节点配置、集群搭建、脚本编写等全流程。对于有定制需求的企业,也可以基于其插件机制开发私有协议适配器或特殊处理逻辑,扩展性良好。

Gitee:gitee.com/liyang9512/…

总结

总的来说,DataLink 填补了开源领域在"可视化数据编排"方向的一个空白。它不像 Flink 那样面向大数据批流计算,也不像 Node-RED 那样偏重 IoT 原型验证,而是聚焦于企业级、生产可用、协议多样、部署简单的数据流转场景。对于正在开发数据中台、工业互联网平台或需要打通多源异构系统的团队来说,它是一个值得尝试的轻量级利器。

关键词

DataLink、数据编排、可视化、Actor模型、协议集成、消息中间件、零代码、集群部署、开源、数据处理

最后

如果你觉得这篇文章对你有帮助,不妨点个赞支持一下!你的支持是我继续分享知识的动力。如果有任何疑问或需要进一步的帮助,欢迎随时留言。

也可以加入微信公众号 [DotNet技术匠] 社区,与其他热爱技术的同行一起交流心得,共同成长!

优秀是一种习惯,欢迎大家留言学习!