〔从零搭建〕数据源平台部署指南

90 阅读5分钟

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

✨杭州奥零数据科技官网:www.aolingdata.com

✨Github项目:github.com/alldatacent…

✨Gitee项目:gitee.com/alldatacent…

✨AllData官方手册:www.yuque.com/aolingdata/…

✨AllData正式环境:http://43.138.156.44:5173/ui_moat

摘要: 数据源平台基于开源项目Chat2DB建设,实现AI驱动数据管理功能,通过智能模型实现自然语言与SQL的双向转换,支持业务人员直接用自然语言生成复杂查询语句,降低数据库交互门槛。

文章内容主要为以下四部分:

一、在线演示环境

二、功能简介

三、源码编译部署安装

四、访问数据源平台页面

在线演示环境.jpg

🔹AllData数据中台线上正式环境:http://43.138.156.44:5173/ui_moat/ 请联系市场总监获取账号密码

数据源平台(公众号).jpg

数据源平台功能简介.jpg

一、数据源平台基于开源项目Chat2DB建设

AllData数据中台商业版集成Chat2DB开源项目,实现AI驱动数据管理功能,通过智能模型实现自然语言与SQL的双向转换,支持业务人员直接用自然语言生成复杂查询语句,降低数据库交互门槛。其核心功能包括:

01 智能SQL生成与优化:

自动补全代码块、智能提示字段、悬浮查看DDL,提升开发效率。

02 数据可视化与分析:

支持自定义报表,集成多数据源生成丰富图表类型,快速洞察数据规律。

03 多数据库兼容:

覆盖MySQL、PostgreSQL、Oracle等主流数据库及达梦、人大金仓、OceanBase等国产数据库,支持数据连接查询与管理。

🔹Chat2DB项目地址:

github.com/CodePhiliaX…

🔹Chat2DB官方文档:

chat2db-ai.com/resources/d…

二、数据源平台功能特点:

  • 数据源注册登记
  • 数据管理工作台
  • 仪表盘可视化
  • 数据分析

源码编译部署安装.jpg

💡部署步骤:

流程.jpg

一、环境准备 --构建AI增强的数据管理基础

1.1 操作系统与依赖

推荐系统: CentOS 7.9/Ubuntu 20.04 LTS,需配置静态IP及SSH免密登录。

Java环境: JDK 11(必须配置JAVA_HOME,例如exportJAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64)

数据库: MySQL 8.0(需初始化数据库并执行install/datacap_mysql.sql脚本,包含表结构及初始数据)

构建工具: Maven 3.8.6(配置阿里云镜像加速依赖下载)、Git 2.30+、Node.js 16.x(用于前端模块编译)

AI模型服务: 若启用自然语言转SQL功能,需部署LLM服务(如QianWen、ChatGLM),并配置application-prod.yml中的API端点:

carbon.png

1.2 服务资源规划

测试环境: 4核8G内存 + 100GB磁盘空间(支持20+并发查询)

生产环境: 16核32G内存 + 500GB NVMe SSD(支持100+并发查询及复杂AI推理)

网络要求: 开放端口8080(Web服务)、9090(API服务)、3306(MySQL)、6379(Redis,可选)

二、源码编译部署获取安装包 --集成AI能力的数据源管理核心

carbon-2.png

三、分支策略

3.1 开发环境:

使用dev分支获取最新AI功能(如SQL优化建议)

3.2 生产环境:

选择release/v2.x.x标签版本(如v2.8.0),避免未经验证的代码。

四、编译构建 --前后端分离与AI模型集成

4.1 后端服务构建:

进入项目目录后,使用Maven安装项目依赖:

carbon-3.png

4.2 关键输出:

  • chat2db-server/target/chat2db-server-2.8.0.jar (主服务JAR包)。
  • chat2db-plugins/target/ai-plugins.zip (AI模型插件包,含NLP2SQL引擎)。

4.3 前端模块编译:

carbon-4.png

4.4 AI插件热部署:

解压AI-plugins.zip至/opt/datacap/plugins目录,支持动态加载NLP驱动、SQL优化器等扩展。

五、部署与运行配置 --生成级服务托管

5.1 Syste服务托管(推荐) carbon-5.png

💡启动命令: carbon-6.png

5.2 核心配置文件

数据库连接:config/application-prod.ym carbon-7.png

AI插件路径:config/plugin.yml carbon-8.png

5.3 高可用部署

集群模式:通过Nginx负载均衡(配置示例): carbon-9.png

六、可选配置 --性能优化与功能扩展

6.1 AI能力扩展

自定义NLP模型:实现com.chat2db.plugin.nlp.NlpEngine接口,打包为JAR后放入插件目录。

示例:添加行业术语支持 carbon-10.png

6.2 性能调优参数

JVM优化: carbon-11.png

线程池配置:application-prod.yml carbon-12.png

6.3 安全加固措施

API鉴权:启用JWT令牌验证(修改security.yml):

carbon-13.png

审计日志:配置logback-spring.xml记录敏感操作: carbon-14.png

七、验证与监控

7.1 健康检查接口 carbon-15.png

7.2 关键指标监控

🔹Prometheus配置:启用/actuator/prometheus端点,监控指标包括: chat2db_ai_request_latency_seconds(AI推理延迟) chat2db_sql_execution_count(SQL执行次数)

7.3 日志分析

🔹使用ELK栈集中管理日志,关键字段包括: requestId(请求唯一标识) dataSourceType(数据源类型) aiModelVersion(使用的AI模型版本)

八、典型问题处理

8.1 插件加载失败

🔹现象:日志出现PluginLoadException: Class not found。

🔹解决:检查插件JAR是否包含META-INF/services/com.chat2db.plugin.spi.ServiceLoader文件,并确认模型文件(如.bin、.json)位于/opt/chat2db/plugins/nlp/models目录。

8.2 MySQL连接池耗尽

🔹现象:Too many connections错误

🔹解决:调整max-active参数(默认20)并优化SQL查询:

carbon-16.png

8.3 跨域问题(前端集成)

🔹现象:浏览器控制台报CORS policy错误。

🔹解决:在application-prod.yml中配置:

carbon-17.png

访问数据源平台页面.jpg

1、数据源

01 数据源.jpg

2、支持链接多种数据库

支持链接多种数据库.png

3、链接MySQL数据库

可安全高效连接MySQL数据库。 02 链接MySQL数据库.jpg

4、链接KingBase数据库

可安全高效链接KingBase数据库。

03 链接KingBase数据库.jpg

5、链接OceanBase数据库

可安全高效链接OceaBase数据库。

04 链接OceanBase数据库.jpg

6、导入数据库

支持MySQL等多类型数据库一键导入,实现高效数据集成与统一管理。 05 导入数据库.jpg

7、工作台

Chat2DB工作台支持多数据源管理,提供SQL开发与智能分析一体化操作界面。 06 工作台.jpg

8、格式化-执行 07 格式化-执行.jpg

9、执行成功,请选择图表配置 08 执行成功,请选择图表配置.jpg

10、编辑仪表盘 09 编辑仪表盘.jpg

11、操作-点击编辑仪表盘 10 操作-点击编辑仪表盘.jpg

12、证劵持仓-仪表盘

11 证券持仓-仪表盘.jpg

13、数据中台-仪表盘展示 12 数据中台-仪表盘展示.jpg

14、团队管理-链接管理-添加链接 13 团队管理-链接管理-添加链接.jpg

15、团队管理-链接管理-添加链接-MySQL 14 团队管理-链接管理-添加链接-MySQL.jpg

16、团队管理-用户管理 15 团队管理-用户管理.jpg

17、用户管理-添加用户 16 用户管理-添加用户.jpg

18、用户管理-编辑用户 17 用户管理-编辑用户.jpg

19、归属团队 18 归属团队.jpg

20、归属链接 19 归属链接.jpg

21、设置-自定义AI 20 设置-自定义AI.jpg

22、设置-服务端地址

21 设置-服务端地址.jpg