前言
数据驱动的时代，数据的高效集成与管理成为企业竞争力的关键。今天推荐一个基于Kettle的可视化、可拖拽的数据集成平台，它可以提供一个直观、易用的数据集成解决方案，帮助企业轻松实现数据的采集、转换、加载与监控。
项目介绍
一个基于Kettle的Web版数据集成平台，通过可视化拖拽的方式，无需编写复杂代码即可完成数据集成任务的设计与执行。
平台支持多种数据源接入，包括关系型数据库、非关系型数据库、文件系统等，并提供丰富的数据处理组件，满足用户多样化的数据处理需求。
项目不仅拥有完整的数据集成功能，还集成数据源管理、元数据管理、数据标准管理、数据仓库管理、数据质量、数据指标、数据标签、数据安全、数据生命周期、数据服务、数据资产、数据可视化、数据运维及系统日志等全方位的数据管理功能。
项目功能
1、数据源管理
支持各类关系型数据库、非关系型数据库。
2、元数据管理
元模型、最新元数据、定版元数据、数据全景图、数据血缘、数据影响分析、多版本元数据对比。
3、数据标准管理
标准词根、标准字典、数据元、标准模型、发布、多版本维护、数据标准核对。
4、数据仓库管理
支持主题域、主题、数仓集群、维度建模、模型运维、模型审计、模型数据查看。
5、数据质量
规则定义、任务执行、结果查看、统计分析、质量问题修复日志。
6、数据指标
数据指标在线开发、数据指标地图。
7、数据标签
标签对象、标签管理、置标任务、标签圈群、标签画像。
8、数据安全
分级分类、数据脱敏、分级分类授权。
9、数据生命周期
数据归档、数据恢复。
10、数据服务
接口在线开发（支持通过JS脚本对数据进行处理后返回，支持动态SQL）、API注册、接口测试、接口发布、应用管理、应用授权。
11、数据资产
数据资产标签、数据资产目录、数据资产门户、数据资产申请试用。
12、数据集成/开发
实时开发（支持CDC）、离线开发（支持数据库、CSV、Excel、接口、FTP、Kafka、MQTT、MongoDB等数据源接入），在线拖拉拽生成数据集成任务。
13、数据可视化
数据集、报表管理、报表设计、报表查看、知识图谱构建、知识图谱查看。
14、数据运维
微服务监控、中间件监控、服务器监控、数据仓库定时备份恢复、数据服务接口监控。
15、系统日志
syslog查询、syslog实时查看、登录日志、审计日志。
16、主数据
主数据模型管理、自动生成代码码段管理、主数据管理、主数据分发。
项目架构
系统架构图
项目技术
技术栈
| 类别 | 技术栈 |
|---|---|
| 后端技术 | Java、Spring Boot 2.7、Spring Cloud/Alibaba、MyBatis Plus、Hutool 等 |
| 前端技术 | Vue、Element UI、Vite 等 |
| 中间件 | Doris、MySQL、Redis、RabbitMQ、MinIO、ZooKeeper |
项目使用
快速体验本系统可通过 Docker 部署
详细步骤请参考官方文档
www.young-datafan.com/docs-data-i…
如需本地运行，请按以下简化流程操作
1、环境准备
- JDK 1.8
- MySQL 5.7 或更高版本
- Consul
- Redis
2、数据库初始化
创建数据库：dataintegration
导入SQL文件：项目目录下 /install/sql/dataintegration.sql
3、项目打包
在项目根目录执行
mvn -B clean compile install -Prelease -Dmaven.test.skip=true -Dcheckstyle.skip=true
4、服务配置与启动
依次启动以下微服务模块（如使用 IntelliJ IDEA）：
- dataintegration-gateway（网关）
- dataintegration-sys（系统管理）
- dataintegration-sso（单点登录）
- dataintegration-group（分组管理）
- dataintegration-project（脚本管理）
- dataintegration-run（运行模块）
- dataintegration-model（模型管理）
- dataintegration-file-management（文件管理）
每个模块启动前，请修改其 application-local.yaml 配置文件中的以下项：
spring:
cloud:
consul:
host: 127.0.0.1 # 改为 Consul 实际IP
port: 8500 # 改为 Consul 实际端口
datasource:
url: jdbc:mysql://127.0.0.1:3306/dataintegration # 改为 MySQL 实际地址
username: root # 改为 MySQL 账号
password: 123456 # 改为 MySQL 密码
5、启动前端
进入前端目录并启动
cd dataintegration-ui
npm install
npm run dev
6、访问系统
打开浏览器 http://127.0.0.1:8081/dataintegration-ui/#/
账号信息：admin/123456
项目效果
系统主页
数据集成工具
项目源码
项目提供完整的源码，方便用户进行二次开发或定制。大家可以通过商业版获得完整的中台功能源码，或参考开源版本进行学习和研究。
Gitee：gitee.com/fhs-opensou…
总结
基于Kettle的可视化数据集成平台是一个功能强大、易于使用的数据集成解决方案。
它采用现代前后端技术栈，支持多种数据源接入和丰富的数据处理组件，能够满足企业多样化的数据处理需求。同时，平台还提供全方位的数据管理功能，帮助企业实现数据的全生命周期管理。
关键词
Kettle、数据集成、可视化、SpringCloud、Vue、数据仓库、数据质量、数据安全、源码、Docker
最后
如果你觉得这篇文章对你有帮助，不妨点个赞支持一下！你的支持是我继续分享知识的动力。如果有任何疑问或需要进一步的帮助，欢迎随时留言。
也可以加入微信公众号 [DotNet技术匠] 社区，与其他热爱技术的同行一起交流心得，共同成长！
优秀是一种习惯，欢迎大家留言学习！
