〔从零搭建〕数仓建模平台部署指南

33 阅读5分钟

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。 ✨杭州奥零数据科技官网:www.aolingdata.com

✨Github项目:github.com/alldatacent…

✨Gitee项目:gitee.com/alldatacent…

✨AllData官方手册:www.yuque.com/aolingdata/…

✨AllData正式环境:http://43.138.156.44:5173/ui_moat

摘要: AllData数据中台商业版集成开源项目Kylin,提供超大规模数据的实时分析与数仓建模能力。文章内容主要为以下四部分:

一、在线演示环境

二、功能简介

三、源码编译部署安装

四、访问数仓建模平台页面

💡Tips:关注「公众号」大数据商业驱动引擎

在线演示环境.png

🔹AllData数据中台线上正式环境:http://43.138.156.44:5173/ui_moat/ 请联系市场总监获取账号密码

数仓建模平台(公众号)_副本.png

数仓建模平台功能简介.jpg

1、数仓建模平台基于开源项目kylin建设 AllData数据中台商业版集成Kylin后,提供超大规模数据的实时分析与数仓建模能力。通过Kylin的预计算技术,实现PB级数据的亚秒级查询响应,支持高并发多维分析场景。

系统内置分布式计算框架,可动态扩展资源,结合Kylin的列式存储与高效压缩算法,显著降低存储成本,适用于金融风控、零售精准营销等复杂数据分析需求。

Kylin项目地址:kylin.apache.org/zh-Hans/doc…

2、数仓建模平台功能特点 Apache Kylin的Web界面菜单功能丰富,以下列举了七点核心功能及其描述:

  • 项目管理:创建和管理项目,定义数据源及存储位置
  • 模型设计:构建数据模型,选择数据源表并定义维度与度量
  • Cube构建:基于模型构建Cube,预计算多维数据集以加速查询
  • Cube管理:监控Cube状态,执行构建、刷新、合并等操作
  • 查询界面:输入SQL语句查询Cube,支持聚合函数与分组操作
  • 可视化分析:提供透视表与图表工具,直观展示查询结果
  • 任务监控:跟踪Cube构建及查询任务进度,查看执行日志

源码编译部署安装.jpg

💡部署步骤:

日志配置 拷贝.jpg

1、源码获取

carbon.png

2、编译构建

💡安装scala插件:

安装scala插件.png

💡安装JavaCC插件

安装JavaCC插件.png

  • 安装插件完成后需要重启 IDEA
  • Maven窗口勾选 SkipTests
  • 安装 scala sdk

安装 scala sdk1 .png

安装 scala sdk2.png

3、部署安装

3.1 环境准备:

  • zookeep 3.6
  • Hadoop 3.2.1
  • hive 3.1.2
  • mysql 5.7 或 8
  • jdk 1.8

3.2 打包:

  • 打包完成
  • 部署包路径:dist/apache-kylin-5.0.2-bin.tar.gz

3.3 解压到服务器:

解压到服务器1.png 解压到服务器2.png

3.4 启动服务:

carbon-2.png

4、前端部署 编译

carbon-3.png

打包

carbon-4.png

访问数仓建模平台页面.jpg

1、数仓建模平台首页-智能分析

可自动挖掘数据价值,提供可视化洞察与精准决策支持。

1_智能分析.jpg

2、智能分析-新增数据源

智能分析模块支持便捷新增数据源,可快速接入多类型数据,拓展分析维度 与数据覆盖范围。

1.2_智能分析-新增数据源.jpg

3、数仓建模平台-新建项目

支持一键新建项目,可自定义配置数据模型与指标,快速搭建个性化数据分析环境。

2_新建项目.jpg

4、历史记录

自动记录操作历史,支持按时间、类型筛选查看,便于追溯修改轨迹与审计复盘。

2.1_历史记录.jpg

5、历史记录-导出

2.2_历史记录-导出.jpg

6、数据资产-数据源

数据资产模块可集中管理数据源,支持多类型接入、元数据查看及权限灵活配置。

3_数据资产-数据源.jpg

7、数据资产-数据源-新增数据源

3.2_数据资产-数据源-新增数据源.jpg

8、数据资产-模型列表-新建模型

可自定义维度指标,快速构建适配业务场景的数据分析模型。

3.3_数据资产-模型列表-新建模型.jpg

9、数据资产-快照-新建快照

支持在数据资产快照模块新建快照,可定时刻录数据状态,保障数据安全与历史版本回溯。

3.4_数据资产-快照-新建快照.jpg

10、批处理

AllData数仓建模平台依托Kylin,支持大规模批处理,可高效处理海量数据,实现批量分析与计算任务。

4_批处理.jpg

11、流式任务

支持实时流式任务处理,可高效捕获、分析动态数据流并即时响应。

5_流式任务.jpg

12、设置-基础设置

基础设置模块,可配置系统参数、权限及数据连接,灵活适配多样化业务场景需求。

6_设置-基础设置.jpg

13、设置-高级设置

高级设置支持Kylin引擎调优、资源分配定制及复杂计算规则配置,满足精细化管控需求。

6.2_设置-高级设置.jpg

14、设置-内部表设置

内部表设置模块,可自定义表结构、索引及存储策略,优化Kylin底层数据组织与查询效率。

6.3_设置-内部表设置.jpg

15、设置-模型设置

支持定义维度、指标及聚合方式,灵活适配Kylin模型,优化数据分析性能。

6.4_设置-模型设置.jpg

16、项目管理

支持多项目创建、权限分配与资源隔离,助力团队高效协作与数据资产管控。

7_项目管理.jpg

17、项目管理-新建项目

8_项目管理-新建项目.jpg

18、用户

提供用户管理功能,支持角色分配、权限细控,保障不同用户安全访问Kylin相关数据资源。

9_用户.jpg

19、用户-新建用户

9.1_用户-新建用户.jpg

20、用户组

支持用户组管理,可批量分配权限、资源,实现用户分类管控,提升Kylin数据操作协作效率

10_用户组.jpg

21、用户组-新建用户组

10.1_用户组-新建用户组.jpg

22、仪表盘

提供可视化图表,支持实时监控与交互式数据分析。

11_仪表盘.jpg