〔从零搭建〕K8S数据平台部署指南

126 阅读3分钟

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

✨杭州奥零数据科技官网:www.aolingdata.com

✨AllData开源项目:github.com/alldatacent…

✨Gitee组织:gitee.com/alldatacent…

摘要:K8S数据平台基于开源项目CloudEon,是一款基于kubernetes的开源大数据平台,旨在为用户提供一种简单、高效、可扩展的大数据解决方案。文章内容主要为以下五部分:

一、在线演示环境

二、功能简介

三、源码编译部署安装

四、云生态部署方案

五、访问K8S数据平台页面

💡Tips:关注「公众号」大数据商业驱动引擎

在线演示环境.jpg

🔹AllData数据中台线上正式环境:http://43.138.156.44:5173/ui_moat/

请联系市场总监获取账号密码

官网主页.jpg

K8S平台功能简介.jpg

2.1 K8S数据平台基于开源项目CloudEon建设 

K8S数据平台CloudEon是一款基于kubernetes的开源大数据平台,旨在为用户提供一种简单、高效、可扩展的大数据解决方案。

CloudEon将基于Kubernetes 的资源安装部署开源大数据组件,实现开源大数据平台的容器化运行,您可减少对于底层资源的运维关注。

功能特性快速搭建大数据集群容器化运行大数据服务支持监控告警等功能支持配置修改等功能自动化运维可视化管理界面

🔹CloudEon开源项目:github.com/dromara/Clo…

🔹更多教程可以参考官方教程文档:cloudeon.dromara.org/#/index

2.1 K8S数据平台功能特点:

  • 快速搭建大数据集群
  • 容器化运行大数据服务
  • 支持监控告警等功能
  • 支持配置修改等功能
  • 自动化运维
  • 可视化管理界面
  • 灵活的扩展性

源码编译部署安装.jpg

💡部署步骤:

1_源码编译部署安装.jpg

3.1 源码编译部署获取安装包 carbon-1.png

3.2 后端源码获取安装包

carbon-2.png 2_后端源码编译部署.png

3.3 前端源码编译部署  carbon-3.png

云原生部署方案.jpg

4.1 环境准备 

🔹操作系统要求:

  • Linux(CentOS 7+/Ubuntu 20.04+)或 macOS。

🔹资源要求:

  • CPU:至少 4 核。

  • 内存:至少 8GB。

  • 磁盘空间:至少 50GB(用于编译和运行)。

🔹依赖工具:

  • Go:1.18+(CloudEon 核心组件为 Go 编写)
  • Docker:20.10+(用于构建和运行容器)。
  • Kubernetes:1.22+(集群环境)。
  • Helm:3.0+(用于 Kubernetes 包管理)。
  • Git:用于源码管理。
  • make:用于自动化编译。

4.2 安装GO: carbon-4.png

4.3 安装Docker: carbon-5.png

4.4 安装Kubernetes和Helm:

  • 参考 Kubernetes 官方文档安装 kubectl 和 minikube(本地测试)或集群环境。

  • 安装 Helm:

carbon-6.png

4.5 源码编译部署获取安装包 carbon-7.png

4.6 编译CloudEon核心组件  carbon-8.png

4.7 构建Docker镜像 

  • 修改 Dockerfile(如需自定义镜像标签):

carbon-9.png

  • 构建镜像:

carbon-10.png

4.8 部署到Kubernetes

  • 使用 Helm 部署:

carbon-11.png

🔹手动部署(YAML 文件):

  • 创建 Namespace:

carbon-12.png

  • 部署 Deployment 和 Service:

carbon-13.png

  • 示例cloudeon-deployment.yaml

carbon-14.png

4.9 验证部署 

  • 检查 Pod 状态:

carbon-15.png

  • Tips:查看日志:

carbon-16.png

🔹访问CloudEon服务:

  • 端口转发
  • 访问地址:浏览器访问 http://localhost:8080

carbon-17.png

4.10 配置修改

🔹修改配置文件(如需):

  • 配置文件通常位于 config/ 目录,或通过 Kubernetes ConfigMap 管理。

访问K8S数据平台页面.jpg

5.1 集群管理  3_K8S数据平台-集群管理.jpg

5.2 修改集群 4_修改集群.jpg

5.3 节点  5_节点.jpg

5.4 新增节点  6_新增节点.jpg

5.5 服务 7_服务.jpg

5.6 服务详情 8_服务详情.jpg

5.7 新增服务-选择服务 9_新增服务-选择服务.jpg

5.8 新增服务-分配角色 10_新增服务-分配角色.jpg

5.9 新增服务-配置服务  11_新增服务-配置服务.jpg

5.10 编辑配置项

12_编辑配置项.jpg

5.11 镜像 13_镜像.jpg

5.12 资源管理 14_资源管理.jpg

5.13 常用参数 15_常用参数.jpg

5.14 端口 16_端口.jpg

5.15 添加自定义配置 17_添加自定义配置.jpg

5.16 指令  18_指令.jpg

5.17 指令详情 19_指令详情.jpg

5.18 指令详情-日志信息  20_指令详情-日志信息.jpg

5.19 告警-活跃告警  21_告警-活跃告警.jpg

5.20 告警-历史告警  22_告警-历史告警.jpg

5.21 告警-告警规则  23_告警-告警规则.jpg

5.22 新增告警规则  24_新增告警规则.jpg

5.23 修改告警规则 25_修改告警规则.jpg

5.24 日志  26_日志.jpg