〔从零搭建〕数据平台部署指南

杭州奥零数据科技
310 阅读5分钟

🔥🔥 AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。

✨杭州奥零数据科技官网：www.aolingdata.com

✨AllData开源项目：github.com/alldatacent…

✨Gitee组织：gitee.com/alldatacent…

摘要：数据平台基于开源项目DataSophon建设，支持快速部署大数据云原生平台，实现高效管理、实时监控及自动化运维。内容主要为以下五部分:

一、在线演示环境

二、功能简介

三、源码编译部署安装

四、访问数据平台页面

五、常见问题与解决方案o87

💡Tips:关注「公众号」大数据商业驱动引擎

在线演示环境.jpg

🔹AllData数据中台线上正式环境：http://43.138.156.44:5173/ui_moat/

请联系市场总监获取账号密码

官网主页.jpg

数据平台功能简介.jpg

2.1 数据平台基于开源项目DataSophon建设

AllData数据中台集成的DataSophon数据平台是一个开源的大数据管理平台。支持快速部署大数据云原生平台，实现高效管理、实时监控及自动化运维。 通过集成DataSophon可高效集成多种数据源，包括关系型数据库、NoSQL数据库等，实现数据的集中管理和利用。 同时，它具备强大数据处理能力，能对海量数据进行实时分析、挖掘和预测，满足企业多样化需求。 此外，DataSophon还提供数据可视化功能，将复杂数据以直观图形化方式展示，助力企业快速理解数据背后的含义，为决策提供有力支持。

🔹开源项目：github.com/datavane/da…

🔹更多教程可以参考官方教程文档：datasophon.github.io/datasophon-…

2.2 数据平台功能特点

  • 快速部署
  • 兼容复杂环境
  • 监控指标全面丰富
  • 灵活便捷的告警服务
  • 可扩展性强
  • 安全可靠
  • 便捷运维
  • 全面兼容开源生态

数据平台功能简介.jpg

💡部署步骤：

流程.jpg

3.1 环境准备

🔹操作系统要求： 推荐使用Linux发行版（如Ubuntu/CentOS），确保系统已安装基础依赖：

  • Java环境：JDK 11或更高版本（需配置JAVA_HOME环境变量）。
  • Maven：3.6.x或更高版本（用于项目构建）。
  • Git：用于代码克隆与版本管理。
  • 数据库：MySQL 5.7或更高版本（需提前安装并配置）。
  • 其他工具：Node.js（部分前端模块依赖）、Docker（可选，用于容器化部署）

🔹系统资源要求： 确保服务器具备足够的CPU、内存（建议至少8GB）和磁盘空间（至少50GB）。

3.2 源码编译部署获取安装包dat --验证项目结构 🔹项目目录包含后端服务（如studio、gateway）、前端模块、数据库脚本（install目录）及配置文件（如application.properties）。

carbon.png

3.3 编译构建 🔹依赖安装--使用Maven安装项目依赖 若依赖下载缓慢，可配置Maven镜像仓库（如阿里云镜像）。

🔹数据库初始化--执行数据库初始化脚本（位于install目录） 在这里插入图片描述 --修改application.properties中的数据库连接配置!

carbon.png

3.4 运行配置 🔹启动关键服务--AllData数据中台依赖多个微服务，需按顺序启动：

  • 注册中心（Eureka）：eureka模块。
  • 网关服务（Gateway）：gateway模块。
  • 核心业务服务：如数据集成、数据质量等模块。

🔹前端部署--若项目包含前端模块，需编译并部署： 将构建产物（如ui_datasophon目录）部署至Nginx或Tomcat服务器

carbon-4.png 🔹日志配置 --修改logback.xml文件，配置日志输出路径和级别（如INFO或DEBUG）： carbon-5.png

3.5 验证与访问

🔹访问Web界面

默认访问地址：http://localhost:8080（具体端口以配置为准）。

3.6 数据平台后端源码编译 1_数据平台后端源码编译.png

3.7 IDEA选择JDK8 2_IDEA选择JDK8.png

3.8 IDEA勾选Skip Tests 3_IDEA勾选Skip Tests.png

3.9 IDEA执行Maven Package打包

4_IDEA执行Maven Package打包.png 5_IDEA执行Maven Package打包.png 6_IDEA执行Maven Package打包.png

3.10 打包之后获取安装包 --包含DataSophon-Manager与Worker

3.11 获取DataSophon-Manager-xxx.tar.gz安装包，解压到服务目录

7_Manager-xxx.tar.gz.png

3.12 获取DataSophon-Worker-xxx.tar.gz安装包，解压到服务器目录 8_Worker-xxx.tar.gz.png

3.13 数据平台-服务器创建大数据组件包目录

🔹数据平台-创建目录

  • mkdir /opt/datasophon/DDP/packages

🔹拷贝DDP-1.2.1.tar.gz解压到服务器目录 DDP安装包可以下载，解压到/opt/datasophon/DDP/packages 通过网盘分享的文件：DDP-1.2.1 如需可联系市场总监获取链接。

🔹数据平台-解压之后 9_数据平台-解压之后获得目录.png

🔹查看DataSophon-Manager与DataSophon-Worker部署目录

  • cd /opt/datasophon

10_DataSophon-Worker部署目录.png

🔹配置Java8 Home

  • exportJAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.412.b08-1.el7_9.x86_64

🔹启动DataSophon-Manager

  • cd /opt/datasophon/datasophon-manager/bin./datasophon-api.sh start api

🔹启动DataSophon-Worker

  • cd /opt/datasophon/datasophon-worker/bin./datasophon-worker.sh start worker

🔹服务器（云服务器）开放端口与防火墙

表格.png 🔹重启gateway kill -9 xxx./gateway.sh

在这里插入图片描述

4.1 数据平台-集群运维中心 11_数据平台-集群运维中心.jpg

4.2 创建集群 12_创建集群.jpg

4.3 集群总览 13_集群总览.jpg 14_集群总览.jpg 15_集群总览.png

4.4 主机管理 16_主机管理.jpg

4.5 添加新主机 17_添加新主机.jpg

4.6 服务管理 18_服务管理.png 19_服务管理.jpg 20_服务管理.png 21_服务管理.png 22_服务管理.png 23_服务管理.png

4.7 增加大数据组件服务 24_增加大数据组件服务.png 25_增加大数据组件服务.png 26_增加大数据组件服务.png 27_增加大数据组件服务.png

4.8 告警组管理 28_告警组管理.png

4.9 新建告警组 29_新建告警组.jpg

4.10 告警组指标管理 30_告警指标管理 .png

4.11 新建告警指标 31_新建告警指标.png

4.12 编辑告警指标 32_编辑告警指标.jpg

4.13 租户管理 33_租户管理.png

4.14 添加用户 34_添加用户.jpg

4.15 用户组列表 35_用户组列表.jpg

4.16 添加用户组 36_添加用户组.jpg

4.17 机架管理 37_机架管理.png

4.18 添加机架 38_添加机架.jpg

4.19 标签管理 39_标签管理.jpg

4.20 添加标签 40_添加标签 .jpg

4.21 大数据集群 41_大数据集群.jpg

4.22 编辑集群 42_编辑集群.jpg

4.23 配置集群 43_配置集群.jpg

4.24 删除集群 44_删除集群.jpg

4.25 软件管理中心

45_软件管理中心 .png 46_软件管理中心 .png 47_软件管理中心 .png 48_软件管理中心 .png

4.26 存储库管理 49_存储库管理.png

常见问题与解决方案.jpg

5.1 常见问题与解决方案

🔹依赖冲突

若编译失败，检查pom.xml中的依赖版本，确保无冲突。

🔹数据库连接失败 确认MySQL服务已启动，且用户名/密码正确。

🔹端口占用 使用netstat -tulnp检查端口占用情况，释放冲突端口。

5.2 扩展建议

🔹容器化部署 使用Docker Compose或Kubernetes编排服务，简化部署流程。

🔹高可用配置 对关键服务（如注册中心、数据库）进行集群化部署。

avatar
文章
阅读
粉丝